OpenAI présente BioBasicsBench pour l'évaluation des agents IA en laboratoire humide

OpenAI a présenté BioBasicsBench, un benchmark conçu pour mesurer la capacité des agents IA à interpréter des données expérimentales brutes sur 100 tâches de laboratoire humide courantes. Le benchmark a été développé avec Ligo, une entreprise de biotechnologie spécialisée dans la conception d'enzymes.

Ce que mesure BioBasicsBench

BioBasicsBench teste la capacité des agents à interpréter des données expérimentales brutes, à identifier les erreurs et à reconnaître lorsque les preuves ne permettent pas de tirer une conclusion. Le benchmark utilise des données expérimentales brutes, notamment des images de gels, des plaques de colonies, de la microscopie et des relevés d'instruments.

Les 100 tâches couvrent cinq domaines du travail de laboratoire humide courant : les méthodes protéiques, l'imagerie et la cytométrie, la quantification et les dosages, les méthodes d'acides nucléiques et le clonage moléculaire. Les tâches vont de demandes simples, telles que la lecture du poids moléculaire d'un échantillon d'ADN sur un gel, à des analyses détaillées de dosages.

Les scientifiques ont créé les tâches à partir des données de leurs propres expériences, en associant chaque question à des critères de notation rédigés par des experts. Chaque tâche a fait l'objet d'un examen interne par un scientifique de Ligo qui ne l'avait pas rédigée, d'un examen externe par un scientifique de niveau doctorat travaillant en laboratoire humide, et d'un dernier examen interne.

Résultats des modèles

OpenAI a évalué sept modèles sur BioBasicsBench : GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna et GPT‑6 Astra. L'évaluation couvre 37 paramètres de modèle et d'effort de raisonnement, avec cinq tentatives pour chacune des 100 tâches par paramètre, soit un total de 18 500 résultats.

Au paramètre « xhigh », qui permet plus de raisonnement par tâche, GPT‑6 Astra a obtenu en moyenne 66,7 % du crédit disponible, contre 43,8 % pour GPT‑5.6 Sol.

Performance avec un effort de raisonnement xhigh :

Là où les modèles sont encore insuffisants

OpenAI signale que des scores de benchmark plus élevés ne signifient pas encore que les modèles peuvent porter des jugements fiables en laboratoire. Parmi les exemples de lacunes figurent les hypothèses qui annulent les contrôles, la minimisation des données qui contredisent une interprétation privilégiée et le comptage erroné des colonies. Dans un exemple de comptage de colonies, les marques de comptage d'Astra ont entraîné un surcomptage d'environ 12 % par rapport à la référence du benchmark.

Pourquoi cela importe

OpenAI indique que les progrès sur ces tâches pourraient aider les scientifiques à passer moins de temps à résoudre les problèmes et plus de temps à décider quelles expériences poursuivre. Le suivi de ces capacités aidera également OpenAI à comprendre leurs implications pour la biosécurité et la biosecurité.

Sources (en anglais)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.