OpenAI Apresenta BioBasicsBench para Avaliação de Agentes de IA em Laboratório Úmido

A OpenAI apresentou o BioBasicsBench, um benchmark projetado para medir o quão bem os agentes de IA interpretam dados experimentais brutos em 100 tarefas rotineiras de laboratório úmido. O benchmark foi desenvolvido em parceria com a Ligo, uma empresa de biotecnologia focada no design de enzimas.

Estrutura do Benchmark

O BioBasicsBench inclui 100 tarefas em cinco áreas do trabalho rotineiro de laboratório úmido: métodos de proteínas, imageamento e citometria, quantificação e ensaios, métodos de ácidos nucleicos e clonagem molecular. Os cientistas criaram as tarefas usando dados de seus próprios experimentos, associando cada pergunta a critérios de avaliação escritos por especialistas. Cada tarefa passou por uma revisão interna por um cientista da Ligo que não a havia escrito, uma revisão externa por um cientista de nível de doutorado que trabalha em laboratório úmido e uma revisão interna final.

O benchmark utiliza evidências experimentais brutas, incluindo imagens de gel e blot, fotografias de placas, pilhas de microscopia, leituras de sequenciamento, exportações de leitores de placas e vídeos de trabalhos bancários. Folhas de referência, como gráficos de escada e mapas de plasmídeos, apoiam a interpretação das evidências experimentais.

Resultados dos Modelos

A OpenAI avaliou sete modelos no BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna e GPT‑6 Astra. A avaliação abrange 37 configurações de modelo e esforço de raciocínio, com cinco tentativas em cada uma das 100 tarefas por configuração, totalizando 18.500 resultados.

Na configuração 'xhigh', que permite mais raciocínio por tarefa, o GPT‑6 Astra obteve uma média de 66,7% do crédito disponível, em comparação com 43,8% para o GPT‑5.6 Sol.

Onde os Modelos Ainda Falham

A OpenAI relata que pontuações mais altas no benchmark ainda não significam que os modelos possam fazer julgamentos confiáveis no laboratório. Exemplos de deficiências incluem permitir que suposições anulem os controles, desconsiderar dados que contradizem uma interpretação preferida e contar colônias incorretamente. Em um exemplo de contagem de colônias, as marcas de contagem do Astra resultaram em uma superestimativa de aproximadamente 12% em relação à referência do benchmark.

Por que isso importa

O BioBasicsBench torna o trabalho cotidiano de laboratório úmido um alvo para melhoria, focando na interpretação de dados experimentais brutos, na verificação de controles e no reconhecimento de quando uma conclusão não é apoiada. A OpenAI afirma que o progresso nessas tarefas pode ajudar os cientistas a gastar menos tempo resolvendo problemas e mais tempo decidindo quais experimentos perseguir em seguida. Acompanhar essas capacidades também ajudará a OpenAI a entender suas implicações para a biossegurança e a biosegurança.

Fontes (em inglês)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.