模型发布与性能
Anthropic 推出了 Claude Haiku 5.5,该公司将其描述为有史以来发布的最便宜、最快且能力最强的小型模型。该模型专为高容量、对成本敏感的任务设计,如摘要生成、压缩、数据库查询和分类请求。
据 Anthropic 称,Claude Haiku 5.5 是该公司在每种模型标准速度下迄今为止最快的模型,尽管其在快速模式下的运行速度不及 Opus 模型。
该公司提供了 Haiku 5.5 与 Haiku 4.5、GPT-6 Luna 和 Sonnet 5.5 的基准测试结果对比:
- GDPval-AA v2.1:Haiku 5.5 得分为 1620,Haiku 4.5 为 735,GPT-6 Luna 为 1437,Sonnet 5.5 为 1840。
- AA-Briefcase v1.1:Haiku 5.5 得分为 1578,Haiku 4.5 为 614,GPT-6 Luna 为 1336,Sonnet 5.5 为 1824。
- OSWorld 2.1 离线子集:Haiku 5.5 得分为 72.4%,Haiku 4.5 为 15.7%,GPT-6 Luna 为 48.9%,Sonnet 5.5 为 83.9%。
- Humanity’s Last Exam:Haiku 5.5 在无工具情况下得分为 45.9%,在有工具情况下得分为 57.4%。
- Terminal-Bench 4.0:Haiku 5.5 得分为 39.2%,Haiku 4.5 为 0.0%,GPT-6 Luna 为 16.4%,Sonnet 5.5 为 70.6%。
- FrontierCode 1.1(主):Haiku 5.5 得分为 46.4%,GPT-6 Luna 为 42.4%,Sonnet 5.5 为 52.1%。
- Chartography:Haiku 5.5 在无工具情况下得分为 46.4%,Haiku 4.5 为 6.4%,GPT-6 Luna 为 29.1%,Sonnet 5.5 为 61.6%。
Haiku 5.5 是 Anthropic 首款配备可调节努力程度设置的 Haiku 级模型,允许用户优化成本或智能水平。
