OpenAI Apresenta BioBasicsBench para Avaliação de Agentes de IA em Laboratório Úmido

A OpenAI apresentou o BioBasicsBench, um benchmark projetado para medir o quão bem os agentes de IA interpretam dados experimentais brutos em 100 tarefas rotineiras de laboratório úmido. O benchmark foi desenvolvido em parceria com a Ligo, uma empresa de biotecnologia focada no design de enzimas.

O que o BioBasicsBench Mede

O BioBasicsBench testa se os agentes de IA podem interpretar dados experimentais brutos, identificar erros e reconhecer quando as evidências não sustentam uma conclusão. O benchmark inclui 100 tarefas em cinco áreas de trabalho rotineiro de laboratório úmido:

• Métodos de proteínas
• Imageamento e citometria
• Quantificação e ensaios
• Métodos de ácidos nucleicos
• Clonagem molecular

As tarefas utilizam evidências experimentais brutas, incluindo imagens de gel, placas de colônias, microscopia e leituras de instrumentos. Os cientistas criaram as tarefas usando dados de seus próprios experimentos, e cada tarefa passou por uma revisão interna de um cientista da Ligo, uma revisão externa por um cientista de nível de doutorado que trabalha em laboratório úmido e uma revisão interna final.

Desempenho dos Modelos

A OpenAI avaliou sete modelos no BioBasicsBench em 37 configurações de modelo e esforço de raciocínio. Na configuração de esforço de raciocínio 'xhigh', o GPT-6 Astra obteve uma média de 66,7% do crédito disponível, em comparação com 43,8% para o GPT-5.6 Sol.

A OpenAI afirma que o GPT-6 Astra melhora substancialmente o GPT-5.6 Sol, mesmo com baixo esforço de raciocínio, e que esses ganhos sugerem que capacidades multimodais nativas mais fortes podem ser fundamentais para melhorar o desempenho na análise cotidiana de laboratório úmido.

Limitações

A OpenAI observa que pontuações mais altas no benchmark ainda não significam que os modelos possam fazer julgamentos confiáveis no laboratório. Exemplos de onde os modelos ainda ficam aquém incluem permitir que suposições substituam os controles, desconsiderar dados que contradizem uma interpretação preferida e contar colônias incorretamente. Em uma tarefa de contagem de colônias, a contagem do GPT-6 Astra resultou em uma superestimativa de aproximadamente 12% em relação à referência do benchmark.

Por que isso importa

A OpenAI diz que o BioBasicsBench torna o trabalho cotidiano de laboratório úmido um alvo para melhoria, incluindo a interpretação de dados experimentais brutos, a verificação de controles e o reconhecimento quando uma conclusão não é sustentada. A organização afirma que o progresso nessas tarefas pode ajudar os cientistas a gastar menos tempo resolvendo problemas e mais tempo decidindo quais experimentos abordar em seguida, e que o acompanhamento dessas capacidades ajudará a compreender as implicações para a biossegurança e a biosegurança.

Fontes (em inglês)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.