Modellstart und Leistung
Anthropic hat Claude Haiku 5.5 eingeführt, das das Unternehmen als das günstigste, schnellste und fähigste kleine Modell beschreibt, das es je veröffentlicht hat. Das Modell ist für hochvolumige, kostensensitive Aufgaben wie Zusammenfassungen, Komprimierungen, Datenbankabfragen und Klassifizierungsanfragen konzipiert.
Laut Anthropic ist Claude Haiku 5.5 das schnellste Modell des Unternehmens bei der jeweiligen Standardgeschwindigkeit jedes Modells, obwohl es im Fast Mode langsamer läuft als die Opus-Modelle.
Das Unternehmen stellte Benchmark-Ergebnisse vor, die Haiku 5.5 mit Haiku 4.5, GPT-6 Luna und Sonnet 5.5 vergleichen:
- GDPval-AA v2.1: Haiku 5.5 erzielte 1620 Punkte, im Vergleich zu 735 für Haiku 4.5, 1437 für GPT-6 Luna und 1840 für Sonnet 5.5.
- AA-Briefcase v1.1: Haiku 5.5 erzielte 1578 Punkte, im Vergleich zu 614 für Haiku 4.5, 1336 für GPT-6 Luna und 1824 für Sonnet 5.5.
- OSWorld 2.1 offline subset: Haiku 5.5 erzielte 72,4 %, im Vergleich zu 15,7 % für Haiku 4.5, 48,9 % für GPT-6 Luna und 83,9 % für Sonnet 5.5.
- Humanity’s Last Exam: Haiku 5.5 erzielte 45,9 % ohne Tools und 57,4 % mit Tools.
- Terminal-Bench 4.0: Haiku 5.5 erzielte 39,2 %, im Vergleich zu 0,0 % für Haiku 4.5, 16,4 % für GPT-6 Luna und 70,6 % für Sonnet 5.5.
- FrontierCode 1.1 (Main): Haiku 5.5 erzielte 46,4 %, im Vergleich zu 42,4 % für GPT-6 Luna und 52,1 % für Sonnet 5.5.
- Chartography: Haiku 5.5 erzielte 46,4 % ohne Tools, im Vergleich zu 6,4 % für Haiku 4.5, 29,1 % für GPT-6 Luna und 61,6 % für Sonnet 5.5.
Haiku 5.5 ist Anthropics erstes Haiku-Modell mit einer einstellbaren Aufwandseinstellung, die es Nutzern ermöglicht, die Optimierung auf Kosten oder Intelligenz vorzunehmen.
