OpenAI推出BioBasicsBench用于湿实验室AI代理评估

摘要

OpenAI推出了BioBasicsBench，这是一个旨在衡量AI代理在100项常规湿实验室任务中解读原始实验数据能力的基准测试。该基准测试是与专注于酶设计的生物技术公司Ligo合作开发的。

BioBasicsBench测试AI代理是否能够解读原始实验数据、识别错误，并识别何时证据无法支持结论。该基准测试包含五个常规湿实验室工作领域的100项任务：

这些任务使用原始实验证据，包括凝胶图像、菌落平板、显微镜图像和仪器读数。科学家利用他们自己的实验数据创建了这些任务，每项任务都经过了Ligo科学家的内部审查、在湿实验室工作的博士级科学家的外部审查，以及最后的内部审查。

OpenAI在37种模型和推理努力设置下对BioBasicsBench上的七种模型进行了评估。在‘xhigh’推理努力设置下，GPT‑6 Astra获得了可用信用的平均66.7%，而GPT‑5.6 Sol为43.8%。

模型	平均奖励	95% CI	每个任务的输出令牌数
GPT‑6 Astra	66.7%	60.3–73.1%	4,704
GPT‑6.1 Sol	62.0%	55.6–68.4%	5,238
GPT‑5.6 Sol	43.8%	37.6–50.0%	9,099
GPT‑6 Luna	38.3%	32.3–44.5%	13,120
GPT‑5.5	35.4%	29.7–41.0%	11,135
GPT‑5.4	33.2%	28.3–38.4%	13,717
GPT‑5.2	31.2%	26.2–36.3%	27,620

OpenAI指出，即使在低推理努力下，GPT‑6 Astra也显著优于GPT‑5.6 Sol，这些增益表明更强的原生多模态能力可能是提高日常湿实验室分析性能的关键。

OpenAI指出，更高的基准分数并不意味着模型可以在实验室中做出可靠的判断。模型仍然不足的示例包括让假设覆盖对照、忽视与首选解释相矛盾的数据，以及错误计数菌落。在一个菌落计数任务中，GPT‑6 Astra的计数结果相对于基准参考值偏高约12%。

OpenAI表示，BioBasicsBench将日常湿实验室工作作为改进目标，包括解读原始实验数据、检查对照以及识别结论是否缺乏支持。该组织表示，在这些任务上的进步可以帮助科学家花更少的时间进行故障排除，花更多的时间决定下一步进行哪些实验，并且跟踪这些能力将有助于理解其对生物安全和生物安保的影响。

来源（英文）

本文由人工智能翻译自英文原文，并经过自动审核，确保与原文意思一致。来源已用英文核实。

No comments yet. Start the discussion.