Lancement du modèle et performances
Anthropic a introduit Claude Haiku 5.5, que l'entreprise décrit comme le modèle petit format le moins cher, le plus rapide et le plus performant qu'elle ait jamais publié. Le modèle est conçu pour les tâches à fort volume et sensibles aux coûts, telles que les résumés, les compactages, les requêtes de base de données et les demandes de classification.
Selon Anthropic, Claude Haiku 5.5 est le modèle le plus rapide de l'entreprise à ce jour à la vitesse standard de chaque modèle, bien qu'il s'exécute moins rapidement que les modèles Opus en mode Rapide.
L'entreprise a fourni des résultats de tests comparant Haiku 5.5 avec Haiku 4.5, GPT-6 Luna et Sonnet 5.5 :
- GDPval-AA v2.1 : Haiku 5.5 a obtenu 1620, contre 735 pour Haiku 4.5, 1437 pour GPT-6 Luna et 1840 pour Sonnet 5.5.
- AA-Briefcase v1.1 : Haiku 5.5 a obtenu 1578, contre 614 pour Haiku 4.5, 1336 pour GPT-6 Luna et 1824 pour Sonnet 5.5.
- Sous-ensemble hors ligne OSWorld 2.1 : Haiku 5.5 a obtenu 72,4 %, contre 15,7 % pour Haiku 4.5, 48,9 % pour GPT-6 Luna et 83,9 % pour Sonnet 5.5.
- Humanity’s Last Exam : Haiku 5.5 a obtenu 45,9 % sans outils et 57,4 % avec des outils.
- Terminal-Bench 4.0 : Haiku 5.5 a obtenu 39,2 %, contre 0,0 % pour Haiku 4.5, 16,4 % pour GPT-6 Luna et 70,6 % pour Sonnet 5.5.
- FrontierCode 1.1 (Principal) : Haiku 5.5 a obtenu 46,4 %, contre 42,4 % pour GPT-6 Luna et 52,1 % pour Sonnet 5.5.
- Chartography : Haiku 5.5 a obtenu 46,4 % sans outils, contre 6,4 % pour Haiku 4.5, 29,1 % pour GPT-6 Luna et 61,6 % pour Sonnet 5.5.
Haiku 5.5 est le premier modèle de classe Haiku d'Anthropic à être doté d'un paramètre d'effort ajustable, permettant aux utilisateurs d'optimiser les coûts ou l'intelligence.
