Évaluer les agents d’IA dans le travail quotidien en laboratoire expérimental

Notre mission est de faire en sorte que l’intelligence artificielle générale bénéficie à toute l’humanité. Dans le cadre de cette mission, nous voulons aider les scientifiques à accélérer la recherche biologique, de la compréhension des maladies au développement de nouveaux traitements. Pour y contribuer, les agents d’IA doivent interpréter de façon fiable les données expérimentales que les scientifiques utilisent chaque jour en laboratoire, où ils mènent des expériences sur des échantillons biologiques. Le travail quotidien en laboratoire expérimental comporte des expériences ratées, des images ambiguës et des observations contradictoires. Les benchmarks existants, conçus autour de graphiques et d’images sélectionnés pour des publications scientifiques, peuvent passer à côté de cette ambiguïté et du travail de résolution des problèmes qu’elle exige. C’est pourquoi nous présentons BioBasicsBench, un nouveau benchmark développé avec Ligo, une entreprise de biotechnologie spécialisée dans la conception d’enzymes, pour mesurer les capacités des agents en analyse courante de laboratoire.

Les 100 tâches du benchmark évaluent si les agents savent interpréter des données expérimentales brutes, identifier des erreurs et reconnaître quand les données ne permettent pas d’étayer une conclusion. Réussir ces tâches est important : mal interpréter une image ou négliger un problème avec les témoins servant à vérifier les résultats d’une expérience peut conduire les scientifiques à tirer une conclusion erronée et à consacrer du temps à des expériences qui ne répondront pas à leur question.

Au niveau « xhigh », qui permet davantage de raisonnement par tâche, GPT‑6 Astra a obtenu en moyenne 66,7 % des points disponibles, contre 43,8 % pour GPT‑5.6 Sol. Les résultats montrent des progrès dans l’analyse courante en laboratoire, avec une marge d’amélioration dans l’interprétation des images, la vérification des témoins et la prise en compte du contexte expérimental.

BioBasicsBench utilise des données expérimentales brutes, allant des images de gels et des boîtes de colonies aux images de microscopie et aux relevés d’instruments.

BioBasicsBench comprend 100 tâches couvrant cinq domaines du travail courant en laboratoire expérimental : méthodes d’analyse des protéines, imagerie et cytométrie, quantification et essais, méthodes d’analyse des acides nucléiques et clonage moléculaire. Les tâches vont de demandes simples, comme lire le poids moléculaire d’un échantillon d’ADN dans un gel, à l’analyse détaillée d’essais. Toutes relèvent toutefois du travail courant que les scientifiques de laboratoire devraient pouvoir accomplir de façon fiable.

Les scientifiques ont créé les tâches à partir des données de leurs propres expériences, en associant à chaque question des critères de notation rédigés par des experts. Chaque tâche a fait l’objet d’une revue interne par un scientifique de Ligo qui ne l’avait pas rédigée, d’une revue externe par un scientifique titulaire d’un doctorat travaillant en laboratoire expérimental, puis d’une revue interne finale.

Les agents fournissent une réponse structurée contenant la conclusion, la mesure ou la recommandation demandée et, si nécessaire, le raisonnement qui l’étaye. Les réponses reçoivent des points pour chaque critère de la grille de notation, ce qui permet au benchmark de distinguer une conclusion correcte d’une analyse partiellement correcte. La plupart des tâches évaluent plusieurs compétences à la fois, notamment les connaissances biologiques, l’interprétation d’images et d’autres données, la détection d’erreurs et la compréhension des protocoles.

Les données d’entrée conservent les formats utilisés par les scientifiques : images de gels et de blots, photographies de boîtes, piles d’images de microscopie, lectures de séquençage, exports de lecteurs de plaques et vidéos de manipulations à la paillasse. Une tâche peut inclure plusieurs types de données. Des fiches de référence, comme des schémas de marqueurs de taille et des cartes de plasmides, aident à interpréter les données expérimentales.

Les scientifiques ont rédigé les tâches à partir des données de leurs propres expériences, en associant les données expérimentales à une question et à une grille de notation rédigée par des experts. Chaque tâche a fait l’objet d’une revue interne par un scientifique de Ligo qui ne l’avait pas rédigée, d’une revue externe par un scientifique titulaire d’un doctorat travaillant en laboratoire expérimental, puis d’une revue interne finale. Les évaluateurs ont vérifié le prompt, les données expérimentales, la grille de notation, les notes de l’auteur et une tentative notée d’un modèle.

Les réponses sont notées selon la grille de la tâche, qui attribue des points à chaque critère. Selon la tâche, ces critères évaluent la conclusion, les résultats numériques, le raisonnement justificatif ou la reconnaissance du caractère insuffisant des données.

Nous avons évalué sept modèles sur BioBasicsBench : GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna et GPT‑6 Astra. L’évaluation couvre 37 combinaisons de modèles et de niveaux d’effort de raisonnement, avec cinq tentatives sur chacune des 100 tâches par combinaison, soit 18 500 résultats au total.

Nous présentons la récompense moyenne : le score moyen par tâche, exprimé en pourcentage des points disponibles. Les barres d’erreur indiquent les intervalles de confiance à 95 %, calculés par rééchantillonnage de tâches entières, en gardant ensemble les cinq tentatives de chaque tâche.

GPT‑6 Astra surpasse nettement GPT‑5.6 Sol, même avec un faible effort de raisonnement. Ces gains suggèrent que des capacités multimodales natives plus avancées pourraient être essentielles pour améliorer les performances d’analyse courante en laboratoire expérimental.

Surinterpréter les données est un piège courant en science, notamment du fait des biais qui surviennent lorsqu’on teste une hypothèse. Astra a montré une meilleure capacité à discerner les limites de ce que montrent les données et à ne pas tirer de conclusions injustifiées.

Dans cet exemple, GPT‑5.6 Sol a classé des cellules comme mortes d’après le signal d’un colorant utilisé pour détecter les cellules mortes. Mais le détecteur pouvait aussi capter la lumière d’un second colorant : la luminosité seule ne pouvait donc pas justifier cette conclusion. Astra a reconnu cette ambiguïté et demandé de meilleurs témoins pour distinguer les signaux.

La recherche scientifique est fortement multimodale et nécessite en permanence des interprétations visuelles et des prises de décision. Astra a montré des progrès importants dans le traitement de données multimodales fournies sous forme de photos et de vidéos, ainsi que de données brutes issues du séquençage, d’essais sur lecteur de plaques, de la microscopie et de la cytométrie en flux.

À un niveau élémentaire, ces progrès se sont manifestés par la capacité de GPT‑6 Astra à relever des détails plus fins dans les images prises pendant les expériences et à en tirer ainsi des conclusions plus précises, comme le montre cet exemple. Cette tâche demandait aux agents de tirer des conclusions d’une expérience de clonage d’ADN, dans laquelle les témoins sont essentiels. GPT‑5.6 Sol n’a vu aucune colonie sur la boîte témoin négatif et a fondé ses conclusions sur cette observation. GPT‑6 Astra a remarqué que l’étiquette de la boîte indiquait le mauvais antibiotique et l’a écartée à juste titre comme témoin fiable.

Pour interpréter correctement les données, les scientifiques doivent pouvoir garder à l’esprit leurs connaissances biologiques tacites et le contexte expérimental tout au long de l’analyse. Astra a montré une meilleure capacité à conserver ce contexte et à l’appliquer tout au long de son analyse.

Une tâche présentait une série d’images au microscope dans lesquelles des cellules devenaient tour à tour nettes et floues. Alors que GPT‑5.6 Sol cherchait une explication biologique à la disparition apparente des cellules, GPT‑6 Astra a correctement reconnu une pile d’images en Z : une série d’images prises à différentes profondeurs.

De meilleurs scores aux benchmarks ne signifient pas encore que les modèles peuvent porter des jugements fiables en laboratoire. Ces exemples d’Astra montrent comment les hypothèses, les réponses attendues et les étiquettes fournies peuvent primer sur les données, et comment une observation intermédiaire correcte peut ne pas guider la décision finale.

Astra laisse une hypothèse familière primer sur l’interprétation étayée par les témoins expérimentaux. Il distingue les deux groupes de bandes issues des colonies, mais suppose qu’un produit PCR plus grand indiquerait un clonage réussi. Sur cette base, il propose les pistes 4, 6, 7 et 8 ; la comparaison avec les témoins dans la référence sélectionne au contraire les pistes 5, 9 et 10.

Astra écarte les observations qui contredisent son interprétation privilégiée. Il conclut que les vacuoles, des compartiments à l’intérieur des cellules, sont généralement plus sombres que le reste de la cellule, alors que certaines apparaissent plus claires sur la même image. Les deux aspects comptent : modifier la mise au point du microscope peut inverser le contraste. Les exemples plus sombres ne permettent donc pas d’établir une règle générale.

Les repères de comptage d’Astra ne correspondent pas de façon fiable aux colonies individuelles : il ne distingue pas les colonies très proches, omet des colonies visibles et marque de la gélose sans colonie. Sur cette boîte, le résultat net est un surcomptage d’environ 12 % par rapport à la référence du benchmark.

Un comptage inexact des colonies affecte directement les estimations de l’efficacité d’introduction de l’ADN dans les cellules. À volume étalé et dilution constants, un surcomptage augmente cette estimation dans la même proportion.

Accélérer la recherche biologique exige de bien accomplir le travail quotidien. BioBasicsBench fait de ce travail un objectif d’amélioration : interpréter les données expérimentales brutes, vérifier les témoins et reconnaître quand une conclusion n’est pas étayée. Progresser sur ces tâches pourrait aider les scientifiques à consacrer moins de temps à résoudre des problèmes et davantage à choisir les prochaines expériences à mener. Le suivi de ces capacités nous aidera aussi à comprendre leurs implications pour la biosécurité et la biosûreté.