OpenAI Apresenta BioBasicsBench para Avaliação de Agentes de IA em Laboratório Úmido

A OpenAI apresentou o BioBasicsBench, um benchmark projetado para medir o quão bem os agentes de IA interpretam dados experimentais brutos em 100 tarefas rotineiras de laboratório úmido. O benchmark foi desenvolvido em parceria com a Ligo, uma empresa de biotecnologia focada no design de enzimas.

O que o BioBasicsBench Mede

O BioBasicsBench testa se os agentes podem interpretar dados experimentais brutos, identificar erros e reconhecer quando as evidências não suportam uma conclusão. O benchmark utiliza evidências experimentais brutas, incluindo imagens de gel, placas de colônias, microscopia e leituras de instrumentos.

As 100 tarefas abrangem cinco áreas do trabalho rotineiro de laboratório úmido: métodos de proteínas, imageamento e citometria, quantificação e ensaios, métodos de ácidos nucleicos e clonagem molecular. As tarefas variam de solicitações simples, como ler o peso molecular de uma amostra de DNA em um gel, até análises detalhadas de ensaios.

Os cientistas criaram as tarefas usando dados de seus próprios experimentos, associando cada pergunta a critérios de avaliação escritos por especialistas. Cada tarefa passou por uma revisão interna por um cientista da Ligo que não a havia escrito, uma revisão externa por um cientista de nível de doutorado que trabalha em laboratório úmido e uma revisão interna final.

Resultados dos Modelos

A OpenAI avaliou sete modelos no BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna e GPT‑6 Astra. A avaliação cobre 37 configurações de modelo e esforço de raciocínio, com cinco tentativas em cada uma das 100 tarefas por configuração, totalizando 18.500 resultados.

Na configuração 'xhigh', que permite mais raciocínio por tarefa, o GPT‑6 Astra obteve uma média de 66,7% do crédito disponível, em comparação com 43,8% para o GPT‑5.6 Sol.

Desempenho com esforço de raciocínio xhigh:

Onde os Modelos Ainda Ficam Aquém

A OpenAI relata que pontuações mais altas no benchmark ainda não significam que os modelos possam fazer julgamentos confiáveis no laboratório. Exemplos de deficiências incluem suposições que anulam controles, desconsideração de dados que contradizem uma interpretação preferida e contagem incorreta de colônias. Em um exemplo de contagem de colônias, as marcas de contagem do Astra resultaram em uma superestimativa de aproximadamente 12% em relação à referência do benchmark.

Por que isso importa

A OpenAI afirma que o progresso nessas tarefas pode ajudar os cientistas a gastar menos tempo resolvendo problemas e mais tempo decidindo quais experimentos abordar em seguida. Acompanhar essas capacidades também ajudará a OpenAI a entender suas implicações para a biossegurança e a biosegurança.

Fontes (em inglês)

• openai.com: Measuring how AI agents handle everyday wet-lab science | OpenAI

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.