OpenAI présente BioBasicsBench pour l'évaluation des agents IA en laboratoire humide

OpenAI a présenté BioBasicsBench, un benchmark conçu pour mesurer la capacité des agents IA à interpréter des données expérimentales brutes sur 100 tâches de laboratoire humide courantes. Le benchmark a été développé avec Ligo, une entreprise de biotechnologie spécialisée dans la conception d'enzymes.

Ce que mesure BioBasicsBench

BioBasicsBench teste si les agents IA peuvent interpréter des données expérimentales brutes, identifier des erreurs et reconnaître lorsque les preuves ne permettent pas de tirer une conclusion. Le benchmark comprend 100 tâches réparties dans cinq domaines du travail de laboratoire humide courant :

• Méthodes protéiques
• Imagerie et cytométrie
• Quantification et dosages
• Méthodes d'acides nucléiques
• Clonage moléculaire

Les tâches utilisent des preuves expérimentales brutes, notamment des images de gels, des plaques de colonies, de la microscopie et des relevés d'instruments. Les scientifiques ont créé les tâches à partir de données issues de leurs propres expériences, et chaque tâche a fait l'objet d'un examen interne par un scientifique de Ligo, d'un examen externe par un scientifique de niveau doctorat travaillant en laboratoire humide, et d'un dernier examen interne.

Performance des modèles

OpenAI a évalué sept modèles sur BioBasicsBench dans 37 configurations de modèle et d'effort de raisonnement. Au paramètre d'effort de raisonnement « xhigh », GPT‑6 Astra a obtenu en moyenne 66,7 % du crédit disponible, contre 43,8 % pour GPT‑5.6 Sol.

OpenAI indique que GPT‑6 Astra améliore considérablement les performances par rapport à GPT‑5.6 Sol, même à un faible effort de raisonnement, et que ces gains suggèrent que des capacités multimodales natives plus fortes pourraient être essentielles pour améliorer les performances sur l'analyse quotidienne de laboratoire humide.

Limitations

OpenAI note que des scores de benchmark plus élevés ne signifient pas encore que les modèles peuvent porter des jugements fiables en laboratoire. Parmi les exemples où les modèles sont encore en deçà des attentes figurent le fait de laisser les hypothèses primer sur les contrôles, de minimiser les données qui contredisent une interprétation privilégiée et de mal compter les colonies. Dans une tâche de comptage de colonies, le comptage effectué par GPT‑6 Astra a entraîné une surestimation d'environ 12 % par rapport à la référence du benchmark.

Pourquoi cela importe

Selon OpenAI, BioBasicsBench fait du travail quotidien de laboratoire humide une cible d'amélioration, notamment l'interprétation des données expérimentales brutes, la vérification des contrôles et la reconnaissance lorsqu'une conclusion n'est pas étayée. L'organisation déclare que les progrès sur ces tâches pourraient aider les scientifiques à passer moins de temps à résoudre les problèmes et plus de temps à décider quelles expériences poursuivre ensuite, et que le suivi de ces capacités aidera à comprendre les implications pour la biosécurité et la biosecurité.

Sources (en anglais)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.