OpenAI führt BioBasicsBench zur Bewertung von KI-Agenten im Nasslabor ein

OpenAI hat BioBasicsBench eingeführt, einen Benchmark, der messen soll, wie gut KI-Agenten rohe experimentelle Daten bei 100 routinemäßigen Nasslaboraufgaben interpretieren. Der Benchmark wurde mit Ligo entwickelt, einem Biotechnologieunternehmen, das sich auf Enzymdesign konzentriert.

Benchmark-Struktur

BioBasicsBench umfasst 100 Aufgaben in fünf Bereichen routinemäßiger Nasslaborarbeit: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden und Molekulares Klonen. Wissenschaftler erstellten die Aufgaben mit Daten aus ihren eigenen Experimenten, wobei jede Frage mit von Experten verfassten Bewertungskriterien gekoppelt wurde. Jede Aufgabe durchlief eine interne Überprüfung durch einen Ligo-Wissenschaftler, der sie nicht verfasst hatte, eine externe Überprüfung durch einen auf PhD-Niveau arbeitenden Wissenschaftler in einem Nasslabor und eine abschließende interne Überprüfung.

Der Benchmark verwendet rohe experimentelle Beweise, einschließlich Gel- und Blot-Bildern, Plattenfotos, Mikroskopie-Stacks, Sequenzierungs-Reads, Plattenreader-Exports und Videos von Laborarbeiten. Referenzblätter, wie Leiterdiagramme und Plasmidkarten, unterstützen die Interpretation der experimentellen Beweise.

Modellergebnisse

OpenAI bewertete sieben Modelle auf BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna und GPT‑6 Astra. Die Auswertung umfasst 37 Modell- und Reasoning-Effort-Einstellungen, mit fünf Versuchen auf jeder der 100 Aufgaben pro Einstellung, insgesamt 18.500 Ergebnisse.

Bei der Einstellung „xhigh“, die mehr Reasoning pro Aufgabe zulässt, erzielte GPT‑6 Astra durchschnittlich 66,7 % der verfügbaren Gutschrift, verglichen mit 43,8 % für GPT‑5.6 Sol.

Wo Modelle noch hinterherhinken

OpenAI berichtet, dass höhere Benchmark-Ergebnisse noch nicht bedeuten, dass Modelle zuverlässige Urteile im Labor fällen können. Beispiele für Mängel sind, dass Annahmen Kontrollen überlagern, dass Daten, die einer bevorzugten Interpretation widersprechen, abgetan werden, und dass Kolonien falsch gezählt werden. In einem Beispiel zur Koloniezählung führten Astras Zählmarkierungen zu einer Überzählung von etwa 12 % im Vergleich zum Benchmark-Referenzwert.

Warum es wichtig ist

BioBasicsBench macht alltägliche Nasslaborarbeit zu einem Ziel für Verbesserungen, mit dem Schwerpunkt auf der Interpretation roher experimenteller Daten, der Überprüfung von Kontrollen und dem Erkennen, wann eine Schlussfolgerung nicht gestützt ist. OpenAI erklärt, dass Fortschritte bei diesen Aufgaben Wissenschaftlern helfen könnten, weniger Zeit mit Fehlersuche und mehr Zeit mit der Entscheidung zu verbringen, welche Experimente sie als Nächstes verfolgen sollen. Das Verfolgen dieser Fähigkeiten wird OpenAI auch dabei helfen, die Auswirkungen für Biosicherheit und Biosecurity zu verstehen.

Quellen (auf Englisch)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.