Avaliar como os agentes de IA lidam com o trabalho laboratorial de rotina

A nossa missão é garantir que a inteligência artificial geral beneficia toda a humanidade. Como parte dessa missão, queremos ajudar os cientistas a acelerar a investigação biológica — desde a compreensão das doenças ao desenvolvimento de novos tratamentos. Para que os agentes de IA possam contribuir, têm de interpretar de forma fiável os dados experimentais com que os cientistas trabalham diariamente nos laboratórios, onde realizam experiências com amostras biológicas. O trabalho diário em laboratório envolve experiências falhadas, imagens ambíguas e observações contraditórias. Os benchmarks existentes, construídos em torno de gráficos e imagens selecionados para artigos científicos, podem não captar essa ambiguidade nem o trabalho necessário para resolver os problemas que ela levanta. É por isso que apresentamos o BioBasicsBench, um novo benchmark desenvolvido com a Ligo, uma empresa de biotecnologia dedicada à conceção de enzimas, para medir o desempenho dos agentes nas análises laboratoriais de rotina.

As 100 tarefas do benchmark avaliam se os agentes conseguem interpretar dados experimentais brutos, identificar erros e reconhecer quando os dados não permitem sustentar uma conclusão. Realizar estas tarefas corretamente é importante: interpretar mal uma imagem ou ignorar um problema nos controlos usados para verificar os resultados de uma experiência pode levar os cientistas a tirar conclusões erradas e a gastar tempo em experiências que não ajudam a responder à sua questão.

Na configuração «xhigh», que permite mais raciocínio por tarefa, o GPT‑6 Astra obteve, em média, 66,7% da pontuação possível, face aos 43,8% do GPT‑5.6 Sol. Os resultados revelam progressos nas análises laboratoriais de rotina, com margem para novas melhorias na interpretação de imagens, na verificação de controlos e na aplicação do contexto experimental.

O BioBasicsBench usa dados experimentais brutos, desde imagens de géis e placas com colónias até imagens de microscopia e leituras de instrumentos.

O BioBasicsBench tem 100 tarefas distribuídas por cinco áreas do trabalho laboratorial de rotina: métodos de análise de proteínas, imagem e citometria, quantificação e ensaios, métodos de análise de ácidos nucleicos e clonagem molecular. As tarefas vão desde pedidos simples, como determinar o peso molecular de uma amostra de ADN num gel, até à análise detalhada de ensaios, mas todas envolvem trabalho de rotina que os cientistas de laboratório devem conseguir realizar de forma fiável.

As tarefas foram criadas por cientistas a partir de dados das suas próprias experiências, associando cada pergunta a critérios de classificação elaborados por especialistas. Cada tarefa passou por uma revisão interna feita por um cientista da Ligo que não participou na sua elaboração, uma revisão externa por um cientista doutorado que trabalha num laboratório experimental e uma revisão interna final.

Os agentes devolvem uma resposta estruturada com a conclusão, medição ou recomendação solicitada e, quando exigido, o raciocínio que a sustenta. As respostas recebem pontos por cada critério da grelha de classificação, permitindo ao benchmark distinguir uma conclusão correta de uma análise parcialmente correta. A maioria das tarefas avalia várias competências em conjunto, incluindo conhecimento biológico, interpretação de imagens e de outros dados, deteção de erros e compreensão de protocolos.

Os dados de entrada mantêm os formatos com que os cientistas trabalham: imagens de géis e blots, fotografias de placas, séries de imagens de microscopia, leituras de sequenciação, dados exportados de leitores de placas e vídeos de trabalho de bancada. Uma tarefa pode incluir vários tipos de dados. As fichas de referência, como diagramas de marcadores de peso molecular e mapas de plasmídeos, apoiam a interpretação dos dados experimentais.

As tarefas foram redigidas por cientistas a partir de dados das suas próprias experiências, associando os dados experimentais a uma pergunta e a uma grelha de classificação elaborada por especialistas. Cada tarefa passou por uma revisão interna feita por um cientista da Ligo que não participou na sua elaboração, uma revisão externa por um cientista doutorado que trabalha num laboratório experimental e uma revisão interna final. Os revisores verificaram o prompt, os dados experimentais, a grelha de classificação, as notas do autor e uma tentativa de resposta de um modelo já classificada.

As respostas são pontuadas de acordo com a grelha de classificação da tarefa, que atribui pontos a cada critério. Consoante a tarefa, estes critérios avaliam a conclusão, os resultados numéricos, o raciocínio que os sustenta ou o reconhecimento de que os dados são insuficientes.

Avaliámos sete modelos no BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna e GPT‑6 Astra. A avaliação abrange 37 combinações de modelo e nível de esforço de raciocínio, com cinco tentativas em cada uma das 100 tarefas por configuração, num total de 18 500 resultados.

Apresentamos a recompensa média: a pontuação média das tarefas, expressa em percentagem da pontuação possível. As barras de erro mostram intervalos de confiança de 95%, calculados por reamostragem de tarefas completas, mantendo juntas as cinco tentativas de cada tarefa.

O GPT‑6 Astra melhora substancialmente o desempenho face ao GPT‑5.6 Sol, mesmo com um esforço de raciocínio baixo. Estes ganhos sugerem que capacidades multimodais nativas mais robustas podem ser essenciais para melhorar o desempenho nas análises de rotina em laboratório.

Uma armadilha comum na ciência é tirar conclusões que vão além dos dados, sobretudo devido ao tipo de viés que surge ao testar uma hipótese. O Astra demonstrou maior capacidade para reconhecer os limites do que os dados mostram e evitar conclusões injustificadas.

Neste exemplo, o GPT‑5.6 Sol classificou células como mortas com base no sinal de um corante usado para detetar células mortas. No entanto, o detetor também podia captar luz de um segundo corante, pelo que o brilho, por si só, não permitia justificar essa conclusão. O Astra reconheceu esta ambiguidade e indicou a necessidade de melhores controlos para separar os sinais.

A investigação científica é altamente multimodal e exige interpretação visual e tomada de decisões constantes. O Astra revelou uma melhoria significativa no tratamento de dados multimodais apresentados sob a forma de fotografias e vídeos, bem como de resultados brutos de sequenciação, ensaios com leitores de placas, microscopia e citometria de fluxo.

Ao nível mais básico, esta melhoria foi visível na capacidade do GPT‑6 Astra para identificar pormenores mais subtis em imagens captadas durante experiências e, assim, tirar conclusões mais precisas, como mostra este exemplo. Esta tarefa pedia aos agentes que tirassem conclusões de uma experiência de clonagem de ADN, na qual os controlos são essenciais. O GPT‑5.6 Sol não viu colónias na placa de controlo negativo e baseou as suas conclusões nessa observação. O GPT‑6 Astra reparou que a placa estava identificada com o antibiótico errado e, corretamente, não a aceitou como controlo fiável.

Para interpretar corretamente os dados, os cientistas têm de ter presentes o conhecimento biológico tácito e o contexto experimental durante a análise. O Astra demonstrou maior capacidade para manter esse contexto e aplicá-lo ao longo da análise.

Uma das tarefas mostrava células que ficavam focadas e desfocadas numa série de imagens de microscopia. Enquanto o GPT‑5.6 Sol procurou uma explicação biológica para o aparente desaparecimento das células, o GPT‑6 Astra reconheceu corretamente um z-stack: uma série de imagens captadas a diferentes profundidades.

Pontuações mais altas no benchmark ainda não significam que os modelos consigam fazer avaliações fiáveis em laboratório. Estes exemplos do Astra mostram como as suposições, as respostas esperadas e as identificações fornecidas podem sobrepor-se aos dados, e como uma observação intermédia correta pode não orientar a decisão final.

O Astra deixa que uma suposição habitual se sobreponha à interpretação sustentada pelos controlos experimentais. Consegue distinguir os dois grupos de bandas das colónias, mas assume que um produto de PCR maior identificaria uma clonagem bem-sucedida. Com base nessa premissa, propõe as pistas 4, 6, 7 e 8; já a comparação com os controlos na resposta de referência seleciona as pistas 5, 9 e 10.

O Astra desvaloriza observações que contradizem a sua interpretação preferida. Conclui que os vacúolos, compartimentos no interior das células, são geralmente mais escuros do que a região celular envolvente, embora alguns apareçam mais claros na mesma imagem. Ambos os aspetos são relevantes: alterar a focagem do microscópio pode inverter o contraste, pelo que os exemplos mais escuros não estabelecem uma regra geral.

As marcas de contagem do Astra não correspondem de forma fiável a colónias individuais: não distingue colónias muito próximas, ignora colónias visíveis e marca zonas de ágar sem colónias. O resultado final nesta placa é uma contagem aproximadamente 12% superior à referência do benchmark.

Uma contagem imprecisa de colónias afeta diretamente as estimativas da eficiência de introdução de ADN nas células. Mantendo fixos o volume plaqueado e a diluição, uma contagem excessiva aumenta essa estimativa na mesma proporção.

Acelerar a investigação biológica exige executar bem o trabalho diário. O BioBasicsBench faz desse trabalho um alvo de melhoria: interpretar dados experimentais brutos, verificar controlos e reconhecer quando uma conclusão não é sustentada pelos dados. Os progressos nestas tarefas poderão ajudar os cientistas a dedicar menos tempo à resolução de problemas e mais tempo a decidir quais as próximas experiências a realizar. Acompanhar estas capacidades também nos ajudará a compreender as suas implicações para a biossegurança e a bioproteção.