Avaliando como agentes de IA lidam com a rotina de laboratório

Nossa missão é garantir que a inteligência artificial geral beneficie toda a humanidade. Como parte dessa missão, queremos ajudar cientistas a acelerar a pesquisa biológica — da compreensão de doenças ao desenvolvimento de novos tratamentos. Para contribuir, os agentes de IA precisam interpretar de forma confiável as evidências experimentais com que os cientistas trabalham diariamente em laboratórios, onde realizam experimentos com amostras biológicas. A rotina de bancada envolve experimentos malsucedidos, imagens ambíguas e observações conflitantes. Os benchmarks existentes, baseados em gráficos e imagens selecionados para artigos científicos, podem não captar essa ambiguidade nem a investigação de problemas que ela exige. Por isso, apresentamos o BioBasicsBench, um novo benchmark desenvolvido com a Ligo, empresa de biotecnologia focada no design de enzimas, para medir como os agentes lidam com análises de rotina de laboratório.

As 100 tarefas do benchmark avaliam se os agentes conseguem interpretar dados experimentais brutos, identificar erros e reconhecer quando as evidências não sustentam uma conclusão. Acertar nessas tarefas é importante porque interpretar mal uma imagem ou não perceber um problema nos controles usados para verificar os resultados de um experimento pode levar cientistas a conclusões erradas e fazê-los gastar tempo em experimentos que não ajudarão a responder à sua pergunta.

Na configuração "xhigh", que permite mais raciocínio por tarefa, o GPT‑6 Astra obteve, em média, 66,7% da pontuação disponível, contra 43,8% do GPT‑5.6 Sol. Os resultados mostram avanços nas análises de rotina de laboratório, com espaço para novas melhorias na interpretação de imagens, na verificação de controles e na aplicação do contexto experimental.

O BioBasicsBench usa evidências experimentais brutas, de imagens de géis e placas com colônias a microscopia e leituras de instrumentos.

O BioBasicsBench tem 100 tarefas em cinco áreas da rotina de bancada: métodos para proteínas, imagem e citometria, quantificação e ensaios, métodos para ácidos nucleicos e clonagem molecular. As tarefas vão de solicitações simples, como ler o peso molecular de uma amostra de DNA em um gel, a análises detalhadas de ensaios, mas todas envolvem atividades rotineiras que cientistas de bancada devem conseguir realizar de forma confiável.

Cientistas criaram as tarefas com dados de seus próprios experimentos, associando cada pergunta a critérios de avaliação escritos por especialistas. Cada tarefa passou por uma revisão interna feita por um cientista da Ligo que não era seu autor, uma revisão externa feita por um cientista com doutorado que trabalha em laboratório experimental e uma revisão interna final.

Os agentes retornam uma resposta estruturada com a conclusão, medição ou recomendação solicitada e, quando exigido, o raciocínio que a fundamenta. As respostas recebem pontos conforme critérios individuais de uma rubrica de avaliação, permitindo que o benchmark distinga uma conclusão correta de uma análise parcialmente correta. A maioria das tarefas avalia várias habilidades em conjunto, incluindo conhecimento biológico, interpretação de imagens e outros dados, detecção de erros e compreensão de protocolos.

Os dados de entrada preservam os formatos das evidências com que os cientistas trabalham: imagens de géis e blots, fotografias de placas, pilhas de imagens de microscopia, leituras de sequenciamento, dados exportados de leitores de placas e vídeos de trabalho de bancada. Uma tarefa pode incluir vários tipos de dados. Fichas de referência, como tabelas de marcadores de tamanho e mapas de plasmídeos, auxiliam na interpretação das evidências experimentais.

Cientistas elaboraram as tarefas com dados de seus próprios experimentos, associando as evidências experimentais a uma pergunta e a uma rubrica de avaliação escrita por especialistas. Cada tarefa passou por uma revisão interna feita por um cientista da Ligo que não era seu autor, uma revisão externa feita por um cientista com doutorado que trabalha em laboratório experimental e uma revisão interna final. Os revisores verificaram o prompt, as evidências experimentais, a rubrica de avaliação, as notas do autor e uma tentativa do modelo já avaliada.

As respostas são pontuadas conforme a rubrica da tarefa, que atribui pontos a critérios individuais. Dependendo da tarefa, esses critérios avaliam a conclusão, os resultados numéricos, o raciocínio que os fundamenta ou o reconhecimento de que as evidências são insuficientes.

Avaliamos sete modelos no BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna e GPT‑6 Astra. A avaliação abrange 37 combinações de modelo e nível de esforço de raciocínio, com cinco tentativas em cada uma das 100 tarefas por combinação, totalizando 18.500 resultados.

Apresentamos a recompensa média: a pontuação média nas tarefas, expressa como porcentagem da pontuação disponível. As barras de erro mostram intervalos de confiança de 95%, calculados por reamostragem de tarefas inteiras, mantendo juntas as cinco tentativas de cada tarefa.

O GPT‑6 Astra supera substancialmente o GPT‑5.6 Sol, mesmo com baixo esforço de raciocínio. Esses ganhos sugerem que capacidades multimodais nativas mais robustas podem ser fundamentais para melhorar o desempenho nas análises de rotina de laboratório.

Uma armadilha comum na ciência é tirar dos dados conclusões que vão além do que eles sustentam, sobretudo devido ao tipo de viés que surge ao testar uma hipótese. O Astra demonstrou maior capacidade de discernir os limites do que os dados mostram e evitar conclusões sem fundamento.

Neste exemplo, o GPT‑5.6 Sol classificou células como mortas com base no sinal de um corante usado para detectar células mortas. Mas o detector também podia captar luz de um segundo corante, de modo que o brilho, por si só, não justificava essa conclusão. O Astra reconheceu essa ambiguidade e indicou a necessidade de controles melhores para separar os sinais.

A pesquisa científica é altamente multimodal e exige interpretação visual e tomada de decisões constantes. O Astra apresentou uma melhora significativa ao lidar com dados multimodais fornecidos como fotos e vídeos, além de dados brutos de sequenciamento, ensaios em leitor de placas, microscopia e citometria de fluxo.

No nível mais básico, essa melhora ficou evidente na capacidade do GPT‑6 Astra de perceber detalhes mais sutis em imagens obtidas durante experimentos e, assim, chegar a conclusões mais precisas, como mostra este exemplo. Esta tarefa pedia que os agentes tirassem conclusões de um experimento de clonagem de DNA, no qual os controles são essenciais. O GPT‑5.6 Sol não viu colônias na placa de controle negativo e baseou suas conclusões nessa observação. O GPT‑6 Astra percebeu que a placa estava identificada com o antibiótico errado e, corretamente, a rejeitou como controle confiável.

Para interpretar corretamente os dados, os cientistas precisam manter em mente o conhecimento biológico tácito e o contexto experimental durante a análise. O Astra demonstrou maior capacidade de preservar esse contexto e aplicá-lo ao longo de toda a análise.

Uma tarefa mostrava células entrando e saindo de foco em uma série de imagens de microscopia. Enquanto o GPT‑5.6 Sol buscou uma explicação biológica para o aparente desaparecimento das células, o GPT‑6 Astra reconheceu corretamente uma pilha de imagens no eixo z: uma série de imagens obtidas em diferentes profundidades.

Pontuações mais altas no benchmark ainda não significam que os modelos possam fazer avaliações confiáveis no laboratório. Estes exemplos do Astra mostram como suposições, respostas esperadas e identificações fornecidas podem se sobrepor às evidências, e como uma observação intermediária correta pode não orientar a decisão final.

O Astra deixa uma suposição familiar se sobrepor à interpretação sustentada pelos controles experimentais. Ele consegue distinguir os dois grupos de bandas das colônias, mas supõe que um produto de PCR maior indicaria uma clonagem bem-sucedida. Com base nessa suposição, propõe as canaletas 4, 6, 7 e 8; já a comparação com os controles na referência seleciona as canaletas 5, 9 e 10.

O Astra desconsidera observações que contradizem sua interpretação preferida. Ele conclui que os vacúolos, compartimentos no interior das células, são em geral mais escuros que a região celular ao redor, embora alguns apareçam mais claros na mesma imagem. As duas aparências importam: mudar o foco do microscópio pode inverter o contraste, de modo que os exemplos mais escuros não estabelecem uma regra geral.

As marcas de contagem do Astra não correspondem de forma confiável a colônias individuais: ele não distingue colônias muito próximas, deixa de contar colônias visíveis e marca ágar sem colônias. O resultado final nesta placa é uma contagem aproximadamente 12% acima da referência do benchmark.

Uma contagem imprecisa de colônias afeta diretamente as estimativas da eficiência de introdução de DNA nas células. Mantendo fixos o volume plaqueado e a diluição, uma contagem excessiva aumenta essa estimativa na mesma proporção.

Acelerar a pesquisa biológica exige realizar corretamente o trabalho cotidiano. O BioBasicsBench torna esse trabalho um foco de melhoria: interpretar dados experimentais brutos, verificar controles e reconhecer quando uma conclusão não tem respaldo. O avanço nessas tarefas pode ajudar cientistas a gastar menos tempo solucionando problemas e mais tempo decidindo quais experimentos realizar em seguida. Acompanhar essas capacidades também nos ajudará a entender suas implicações para a biossegurança e a bioproteção.