OpenAI présente BioBasicsBench pour l'évaluation des agents IA en laboratoire humide

OpenAI a présenté BioBasicsBench, un benchmark conçu pour mesurer la capacité des agents IA à interpréter des données expérimentales brutes sur 100 tâches de laboratoire humide courantes. Le benchmark a été développé avec Ligo, une entreprise de biotechnologie spécialisée dans la conception d'enzymes.

Structure du benchmark

BioBasicsBench comprend 100 tâches réparties dans cinq domaines du travail de laboratoire humide courant : les méthodes protéiques, l'imagerie et la cytométrie, la quantification et les dosages, les méthodes d'acides nucléiques et le clonage moléculaire. Les scientifiques ont créé les tâches à l'aide de données issues de leurs propres expériences, en associant chaque question à des critères de notation rédigés par des experts. Chaque tâche a fait l'objet d'un examen interne par un scientifique de Ligo qui ne l'avait pas rédigée, d'un examen externe par un scientifique de niveau doctorat travaillant en laboratoire humide, et d'un dernier examen interne.

Le benchmark utilise des preuves expérimentales brutes, notamment des images de gels et de western blot, des photographies de plaques, des piles d'images de microscopie, des lectures de séquençage, des exportations de lecteurs de plaques et des vidéos de travaux de laboratoire. Des fiches de référence, telles que des graphiques d'échelles de poids moléculaires et des cartes de plasmides, soutiennent l'interprétation des preuves expérimentales.

Résultats des modèles

OpenAI a évalué sept modèles sur BioBasicsBench : GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna et GPT‑6 Astra. L'évaluation couvre 37 paramètres de modèle et d'effort de raisonnement, avec cinq tentatives pour chacune des 100 tâches par paramètre, soit un total de 18 500 résultats.

Au paramètre « xhigh », qui permet plus de raisonnement par tâche, GPT‑6 Astra a obtenu en moyenne 66,7 % du crédit disponible, contre 43,8 % pour GPT‑5.6 Sol.

Là où les modèles sont encore insuffisants

OpenAI signale que des scores de benchmark plus élevés ne signifient pas encore que les modèles peuvent porter des jugements fiables en laboratoire. Parmi les exemples de lacunes figurent le fait de laisser les hypothèses primer sur les contrôles, de minimiser les données qui contredisent une interprétation privilégiée et de mal compter les colonies. Dans un exemple de comptage de colonies, les marques de comptage d'Astra ont entraîné un surcomptage d'environ 12 % par rapport à la référence du benchmark.

Pourquoi cela importe

BioBasicsBench fait du travail quotidien de laboratoire humide un objectif d'amélioration, en se concentrant sur l'interprétation des données expérimentales brutes, la vérification des contrôles et la reconnaissance lorsqu'une conclusion n'est pas étayée. OpenAI indique que les progrès sur ces tâches pourraient aider les scientifiques à passer moins de temps à résoudre les problèmes et plus de temps à décider quelles expériences poursuivre ensuite. Le suivi de ces capacités aidera également OpenAI à comprendre leurs implications pour la biosécurité et la biosecurité.

Sources (en anglais)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.