OpenAI presenta BioBasicsBench para la evaluación de agentes de IA en laboratorio húmedo

OpenAI ha presentado BioBasicsBench, un punto de referencia diseñado para medir qué tan bien los agentes de IA interpretan datos experimentales sin procesar en 100 tareas rutinarias de laboratorio húmedo. El punto de referencia fue desarrollado con Ligo, una empresa de biotecnología centrada en el diseño de enzimas.

Estructura del punto de referencia

BioBasicsBench incluye 100 tareas en cinco áreas del trabajo rutinario de laboratorio húmedo: métodos de proteínas, imagen y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular. Los científicos crearon las tareas utilizando datos de sus propios experimentos, asociando cada pregunta con criterios de calificación escritos por expertos. Cada tarea pasó por una revisión interna realizada por un científico de Ligo que no la había escrito, una revisión externa por un científico con doctorado que trabaja en un laboratorio húmedo y una revisión interna final.

El punto de referencia utiliza evidencia experimental sin procesar, incluidas imágenes de geles y blots, fotografías de placas, pilas de microscopía, lecturas de secuenciación, exportaciones de lectores de placas y videos de trabajo en la bancada. Las hojas de referencia, como gráficos de escaleras y mapas de plásmidos, apoyan la interpretación de la evidencia experimental.

Resultados de los modelos

OpenAI evaluó siete modelos en BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna y GPT‑6 Astra. La evaluación cubre 37 configuraciones de modelos y esfuerzo de razonamiento, con cinco intentos en cada una de las 100 tareas por configuración, para un total de 18.500 resultados.

En la configuración 'xhigh', que permite más razonamiento por tarea, GPT‑6 Astra obtuvo un promedio del 66,7 % del crédito disponible, en comparación con el 43,8 % de GPT‑5.6 Sol.

Dónde los modelos aún tienen deficiencias

OpenAI informa que las puntuaciones más altas en el punto de referencia aún no significan que los modelos puedan tomar juicios confiables en el laboratorio. Los ejemplos de deficiencias incluyen permitir que las suposiciones anulen los controles, menospreciar los datos que contradicen una interpretación preferida y contar mal las colonias. En un ejemplo de recuento de colonias, las marcas de conteo de Astra resultaron en un sobreconteo de aproximadamente el 12 % en relación con la referencia del punto de referencia.

Por qué importa

BioBasicsBench convierte el trabajo cotidiano de laboratorio húmedo en un objetivo de mejora, centrándose en la interpretación de datos experimentales sin procesar, la verificación de controles y el reconocimiento de cuándo una conclusión no está respaldada. OpenAI afirma que el progreso en estas tareas podría ayudar a los científicos a pasar menos tiempo resolviendo problemas y más tiempo decidiendo qué experimentos continuar. El seguimiento de estas capacidades también ayudará a OpenAI a comprender sus implicaciones para la bioseguridad y la bioprotección.

Fuentes (en inglés)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.