OpenAI stellt BioBasicsBench zur Bewertung von KI-Agenten im Nasslabor vor

OpenAI hat BioBasicsBench eingeführt, einen Benchmark, der darauf ausgelegt ist, zu messen, wie gut KI-Agenten rohe experimentelle Daten über 100 routinemäßige Nasslabor-Aufgaben hinweg interpretieren. Der Benchmark wurde in Zusammenarbeit mit Ligo entwickelt, einem Biotech-Unternehmen, das sich auf Enzymdesign spezialisiert hat.

Was BioBasicsBench misst

BioBasicsBench testet, ob Agenten rohe experimentelle Daten interpretieren, Fehler identifizieren und erkennen können, wenn die Beweislage keine Schlussfolgerung zulässt. Der Benchmark verwendet rohe experimentelle Evidenz, einschließlich Gelbildern, Kolonieplatten, Mikroskopie und Geräteauswertungen.

Die 100 Aufgaben erstrecken sich über fünf Bereiche der routinemäßigen Nasslaborarbeit: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden und molekulares Klonen. Die Aufgaben reichen von einfachen Anfragen, wie dem Ablesen des Molekulargewichts einer DNA-Probe in einem Gel, bis hin zu detaillierten Assay-Analysen.

Wissenschaftler erstellten die Aufgaben unter Verwendung von Daten aus ihren eigenen Experimenten und paarten jede Frage mit von Experten verfassten Bewertungskriterien. Jede Aufgabe unterzog sich einer internen Überprüfung durch einen Ligo-Wissenschaftler, der sie nicht verfasst hatte, einer externen Überprüfung durch einen PhD-qualifizierten Wissenschaftler, der in einem Nasslabor arbeitet, und einer abschließenden internen Überprüfung.

Modellergebnisse

OpenAI bewertete sieben Modelle auf BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna und GPT‑6 Astra. Die Bewertung umfasst 37 Einstellungen für Modelle und reasoning effort, mit fünf Versuchen pro Aufgabe bei jeder Einstellung, was insgesamt 18.500 Ergebnissen entspricht.

Bei der Einstellung ‚xhigh‘, die mehr reasoning pro Aufgabe ermöglicht, erzielte GPT‑6 Astra durchschnittlich 66,7 % der verfügbaren Punkte, im Vergleich zu 43,8 % für GPT‑5.6 Sol.

Leistung bei hohem reasoning effort:

Wo Modelle noch Defizite aufweisen

OpenAI berichtet, dass höhere Benchmark-Scores noch nicht bedeuten, dass Modelle zuverlässige Urteile im Labor fällen können. Beispiele für Schwächen sind Annahmen, die Kontrollen überschreiben, das Abwerten von Daten, die einer bevorzugten Interpretation widersprechen, und das Fehlzählen von Kolonien. In einem Beispiel zur Kolonienzählung führte die Zählmarkierung von Astra zu einer Überschätzung von etwa 12 % im Vergleich zur Benchmark-Referenz.

Warum es wichtig ist

OpenAI gibt an, dass Fortschritte bei diesen Aufgaben Wissenschaftlern helfen könnten, weniger Zeit mit der Fehlersuche und mehr Zeit mit der Entscheidung darüber zu verbringen, welche Experimente als Nächstes verfolgt werden sollen. Die Verfolgung dieser Fähigkeiten wird OpenAI auch dabei helfen, die Auswirkungen auf die Biosicherheit und Biosecurity zu verstehen.

Quellen (auf Englisch)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.