OpenAI推出BioBasicsBench用于湿实验室AI代理评估

OpenAI推出了BioBasicsBench，这是一个旨在衡量AI代理在100项常规湿实验室任务中解读原始实验数据能力的基准测试。该基准测试是与专注于酶设计的生物技术公司Ligo合作开发的。

基准测试结构

BioBasicsBench包含五个常规湿实验室工作领域的100项任务：蛋白质方法、成像与流式细胞术、定量与测定、核酸方法和分子克隆。科学家利用他们自己的实验数据创建了这些任务，并为每个问题配上了专家编写的评分标准。每项任务都经过了内部审查（由未编写该任务的Ligo科学家进行）、外部审查（由在湿实验室工作的博士级科学家进行）以及最终内部审查。

该基准测试使用原始实验证据，包括凝胶和印迹图像、平板照片、显微镜堆栈、测序读取结果、平板读数仪导出数据以及实验操作视频。参考表（如梯状图图和质粒图谱）支持对实验证据的解读。

模型结果

OpenAI在BioBasicsBench上评估了七种模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna和GPT‑6 Astra。评估涵盖了37种模型和推理努力设置，每种设置对100项任务各尝试5次，共计18,500个结果。

在允许每项任务进行更多推理的‘xhigh’设置下，GPT‑6 Astra获得了平均66.7%的可用积分，而GPT‑5.6 Sol为43.8%。

模型仍存在的不足

OpenAI报告称，更高的基准测试分数并不意味着模型能在实验室中做出可靠的判断。不足之处包括让假设覆盖控制变量、忽视与偏好解释相矛盾的数据以及菌落计数错误。在一个菌落计数的例子中，Astra的计数标记导致相对于基准测试参考值多计了约12%。

意义所在

BioBasicsBench将日常湿实验室工作作为改进目标，重点关注解读原始实验数据、检查控制变量以及识别结论缺乏支持的情况。OpenAI表示，在这些任务上的进步可以帮助科学家减少排查故障的时间，将更多时间用于决定下一步进行哪些实验。跟踪这些能力也有助于OpenAI了解其对生物安全和生物安保的影响。

来源（英文）

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

本文由人工智能翻译自英文原文，并经过自动审核，确保与原文意思一致。来源已用英文核实。