OpenAI presenta BioBasicsBench para la evaluación de agentes de IA en laboratorio húmedo

OpenAI ha presentado BioBasicsBench, un punto de referencia diseñado para medir qué tan bien los agentes de IA interpretan datos experimentales sin procesar en 100 tareas rutinarias de laboratorio húmedo. El punto de referencia fue desarrollado con Ligo, una empresa de biotecnología centrada en el diseño de enzimas.

Qué mide BioBasicsBench

BioBasicsBench prueba si los agentes de IA pueden interpretar datos experimentales sin procesar, identificar errores y reconocer cuándo la evidencia no puede respaldar una conclusión. El punto de referencia incluye 100 tareas en cinco áreas del trabajo rutinario de laboratorio húmedo:

• Métodos de proteínas
• Imágenes y citometría
• Cuantificación y ensayos
• Métodos de ácidos nucleicos
• Clonación molecular

Las tareas utilizan evidencia experimental sin procesar, incluidas imágenes de geles, placas de colonias, microscopía y lecturas de instrumentos. Los científicos crearon las tareas utilizando datos de sus propios experimentos, y cada tarea pasó por una revisión interna de un científico de Ligo, una revisión externa de un científico con doctorado que trabaja en un laboratorio húmedo y una revisión interna final.

Rendimiento de los modelos

OpenAI evaluó siete modelos en BioBasicsBench en 37 configuraciones de modelo y esfuerzo de razonamiento. En la configuración de esfuerzo de razonamiento 'xhigh', GPT‑6 Astra obtuvo un promedio del 66,7 % del crédito disponible, en comparación con el 43,8 % de GPT‑5.6 Sol.

OpenAI afirma que GPT‑6 Astra mejora sustancialmente a GPT‑5.6 Sol, incluso con un esfuerzo de razonamiento bajo, y que estas ganancias sugieren que las capacidades multimodales nativas más fuertes pueden ser clave para mejorar el rendimiento en el análisis cotidiano de laboratorio húmedo.

Limitaciones

OpenAI señala que las puntuaciones más altas en el punto de referencia aún no significan que los modelos puedan tomar juicios confiables en el laboratorio. Ejemplos de dónde los modelos aún se quedan cortos incluyen permitir que las suposiciones anulen los controles, restar importancia a los datos que contradicen una interpretación preferida y contar mal las colonias. En una tarea de conteo de colonias, el conteo de GPT‑6 Astra resultó en un sobrecuento de aproximadamente el 12 % en relación con la referencia del punto de referencia.

Por qué importa

OpenAI dice que BioBasicsBench convierte el trabajo cotidiano de laboratorio húmedo en un objetivo de mejora, incluida la interpretación de datos experimentales sin procesar, la verificación de controles y el reconocimiento de cuándo una conclusión no está respaldada. La organización afirma que el progreso en estas tareas podría ayudar a los científicos a pasar menos tiempo solucionando problemas y más tiempo decidiendo qué experimentos continuar, y que el seguimiento de estas capacidades ayudará a comprender las implicaciones para la biosseguridad y la bioseguridad.

Fuentes (en inglés)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.