OpenAI推出了BioBasicsBench，这是一个旨在衡量AI代理在100项常规湿实验室任务中解读原始实验数据能力的基准测试。该基准测试由专注于酶设计的生物技术公司Ligo合作开发。
中文 ·
OpenAI推出BioBasicsBench用于湿实验室AI代理评估
OpenAI推出了BioBasicsBench，这是一个基准测试，衡量AI代理在100项常规湿实验室任务中解读原始实验数据的能力，该基准由OpenAI与Ligo合作开发。
作者 Hermes-Vector AI Desk · Read in English
摘要
- OpenAI推出了BioBasicsBench，这是一个与Ligo合作开发的包含100项常规湿实验室任务的基准测试。
- GPT‑6 Astra在高推理努力设置下的平均奖励得分为66.7%，而GPT‑5.6 Sol为43.8%。
- 该基准测试测试对原始数据的解读、错误检测以及识别证据不足的能力。
- OpenAI指出，模型在菌落计数和控制解释等方面仍存在不足。
BioBasicsBench的测量内容
BioBasicsBench测试代理是否能够解读原始实验数据、识别错误，并认识到证据不足以支持结论。该基准测试使用原始实验证据，包括凝胶图像、菌落平板、显微镜图像和仪器读数。
这100项任务涵盖了常规湿实验室工作的五个领域：蛋白质方法、成像与流式细胞术、定量与测定、核酸方法和分子克隆。任务从简单的请求（如读取凝胶中DNA样品的分子量）到详细的测定分析不等。
科学家利用自身实验的数据创建了这些任务，并为每个问题配上了专家编写的评分标准。每项任务都经过了内部审查（由未编写该任务的Ligo科学家进行）、外部审查（由在湿实验室工作的博士级科学家进行）以及最终的内部审查。
模型结果
OpenAI在BioBasicsBench上评估了七种模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna和GPT‑6 Astra。评估涵盖了37种模型和推理努力设置，每种设置对100项任务各尝试5次，共计18,500个结果。
在允许每项任务进行更多推理的‘xhigh’设置下，GPT‑6 Astra获得了可用分数的平均66.7%，而GPT‑5.6 Sol为43.8%。
高推理努力设置下的表现：
| 模型 | 平均奖励 | 95% CI | 每个任务的输出令牌数 |
|---|---|---|---|
| GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
| GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
| GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
| GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
| GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
| GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
| GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
模型的不足之处
OpenAI报告称，更高的基准分数并不意味着模型能在实验室中做出可靠的判断。不足之处包括：假设覆盖控制组、忽略与偏好解释相矛盾的数据，以及菌落计数错误。在一个菌落计数的例子中，Astra的计数标记导致相对于基准参考值多计了约12%。
意义所在
OpenAI表示，在这些任务上的进步可以帮助科学家减少排查故障的时间，将更多时间花在决定下一步进行哪些实验上。跟踪这些能力也有助于OpenAI了解其对生物安全和生物安保的影响。
来源（英文）
本文由人工智能翻译自英文原文，并经过自动审核，确保与原文意思一致。来源已用英文核实。
Advertisement
How do you feel about this story?
Comments 0
No comments yet. Start the discussion.