OpenAI stellt BioBasicsBench zur Bewertung von KI-Agenten im Nasslabor vor

OpenAI hat BioBasicsBench eingeführt, einen Benchmark, der darauf ausgelegt ist, zu messen, wie gut KI-Agenten rohe experimentelle Daten bei 100 routinemäßigen Nasslabor-Aufgaben interpretieren. Der Benchmark wurde gemeinsam mit Ligo entwickelt, einem Biotech-Unternehmen, das sich auf Enzymdesign spezialisiert hat.

Was BioBasicsBench misst

BioBasicsBench testet, ob KI-Agenten rohe experimentelle Daten interpretieren, Fehler identifizieren und erkennen können, wenn die Evidenz keine Schlussfolgerung unterstützt. Der Benchmark umfasst 100 Aufgaben in fünf Bereichen der routinemäßigen Nasslaborarbeit:

• Proteinmethoden
• Bildgebung und Durchflusszytometrie
• Quantifizierung und Assays
• Nukleinsäuremethoden
• Molekularklonierung

Die Aufgaben verwenden rohe experimentelle Evidenz, einschließlich Gelbildern, Kolonieplatten, Mikroskopie und Geräteauswertungen. Wissenschaftler erstellten die Aufgaben anhand von Daten aus ihren eigenen Experimenten, und jede Aufgabe unterzog sich einer internen Überprüfung durch einen Ligo-Wissenschaftler, einer externen Überprüfung durch einen PhD-Wissenschaftler, der in einem Nasslabor arbeitet, und einer abschließenden internen Überprüfung.

Modellleistung

OpenAI bewertete sieben Modelle auf BioBasicsBench über 37 Modell- und reasoning-effort-Einstellungen hinweg. Bei der reasoning-effort-Einstellung ‚xhigh‘ erzielte GPT‑6 Astra durchschnittlich 66,7 % der verfügbaren Punkte, verglichen mit 43,8 % für GPT‑5.6 Sol.

OpenAI gibt an, dass GPT‑6 Astra GPT‑5.6 Sol erheblich verbessert, selbst bei niedriger reasoning effort, und dass diese Gewinne darauf hindeuten, dass stärkere native multimodale Fähigkeiten entscheidend sein könnten, um die Leistung bei der alltäglichen Nasslaboranalyse zu verbessern.

Einschränkungen

OpenAI weist darauf hin, dass höhere Benchmark-Scores noch nicht bedeuten, dass Modelle zuverlässige Urteile im Labor fällen können. Beispiele dafür, wo die Modelle noch nicht ausreichen, umfassen das Übergehen von Kontrollen durch Annahmen, das Abwerten von Daten, die einer bevorzugten Interpretation widersprechen, und das Fehlzählen von Kolonien. Bei einer Kolonie-Zählaufgabe führte die Zählung von GPT‑6 Astra zu einer Überzählung von etwa 12 % im Vergleich zur Benchmark-Referenz.

Warum es wichtig ist

OpenAI sagt, BioBasicsBench mache die alltägliche Nasslaborarbeit zu einem Ziel für Verbesserungen, einschließlich der Interpretation roher experimenteller Daten, der Überprüfung von Kontrollen und des Erkennens, wenn eine Schlussfolgerung nicht gestützt wird. Die Organisation stellt fest, dass Fortschritte bei diesen Aufgaben Wissenschaftlern helfen könnten, weniger Zeit mit Fehlersuche und mehr Zeit mit der Entscheidung zu verbringen, welche Experimente als Nächstes verfolgt werden sollen, und dass die Verfolgung dieser Fähigkeiten helfen wird, die Implikationen für die Biosicherheit und Biosecurity zu verstehen.

Quellen (auf Englisch)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.