OpenAI presenta BioBasicsBench para la evaluación de agentes de IA en laboratorio húmedo

OpenAI ha presentado BioBasicsBench, un punto de referencia diseñado para medir qué tan bien los agentes de IA interpretan datos experimentales brutos en 100 tareas rutinarias de laboratorio húmedo. El punto de referencia fue desarrollado junto con Ligo, una empresa de biotecnología centrada en el diseño de enzimas.

Qué mide BioBasicsBench

BioBasicsBench prueba si los agentes pueden interpretar datos experimentales brutos, identificar errores y reconocer cuándo la evidencia no puede respaldar una conclusión. El punto de referencia utiliza evidencia experimental bruta, incluidas imágenes de geles, placas de colonias, microscopía y lecturas de instrumentos.

Las 100 tareas abarcan cinco áreas del trabajo rutinario de laboratorio húmedo: métodos de proteínas, imagen y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular. Las tareas van desde solicitudes simples, como leer el peso molecular de una muestra de ADN en un gel, hasta análisis detallados de ensayos.

Los científicos crearon las tareas utilizando datos de sus propios experimentos, emparejando cada pregunta con criterios de calificación escritos por expertos. Cada tarea pasó por una revisión interna de un científico de Ligo que no la había escrito, una revisión externa de un científico con doctorado que trabaja en un laboratorio húmedo y una revisión interna final.

Resultados de los modelos

OpenAI evaluó siete modelos en BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna y GPT‑6 Astra. La evaluación cubre 37 configuraciones de modelo y esfuerzo de razonamiento, con cinco intentos en cada una de las 100 tareas por configuración, para un total de 18,500 resultados.

En la configuración 'xhigh', que permite más razonamiento por tarea, GPT‑6 Astra obtuvo un promedio del 66.7% del crédito disponible, en comparación con el 43.8% de GPT‑5.6 Sol.

Rendimiento con esfuerzo de razonamiento xhigh:

Dónde los modelos aún se quedan cortos

OpenAI informa que puntuaciones más altas en el punto de referencia aún no significan que los modelos puedan tomar juicios confiables en el laboratorio. Los ejemplos de deficiencias incluyen suposiciones que anulan los controles, la minimización de datos que contradicen una interpretación preferida y el conteo incorrecto de colonias. En un ejemplo de conteo de colonias, las marcas de conteo de Astra resultaron en un sobreconteo de aproximadamente el 12% en relación con la referencia del punto de referencia.

Por qué importa

OpenAI afirma que el progreso en estas tareas podría ayudar a los científicos a pasar menos tiempo solucionando problemas y más tiempo decidiendo qué experimentos realizar a continuación. El seguimiento de estas capacidades también ayudará a OpenAI a comprender sus implicaciones para la bioseguridad y la seguridad biológica.

Fuentes (en inglés)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.