Meten hoe AI-agents dagelijks wetlabwerk uitvoeren

Onze missie is ervoor te zorgen dat kunstmatige algemene intelligentie de hele mensheid ten goede komt. Als onderdeel van die missie willen we wetenschappers helpen biologisch onderzoek te versnellen: van het begrijpen van ziekten tot het ontwikkelen van nieuwe behandelingen. Om daaraan bij te dragen, moeten AI-agents de experimentele gegevens betrouwbaar kunnen interpreteren waarmee wetenschappers dagelijks werken in wetlabs, waar ze experimenten uitvoeren met biologische monsters. Bij dagelijks wetlabwerk horen mislukte experimenten, dubbelzinnige beelden en tegenstrijdige waarnemingen. Bestaande benchmarks zijn opgebouwd rond grafieken en beelden die voor wetenschappelijke publicaties zijn geselecteerd. Daardoor missen ze mogelijk deze ambiguïteit en het uitzoekwerk dat die vereist. Daarom introduceren we BioBasicsBench: een nieuwe benchmark, ontwikkeld met Ligo, een biotechbedrijf dat zich richt op enzymontwerp, om te meten hoe goed agents routinematige wetlabanalyses uitvoeren.

De 100 taken van de benchmark toetsen of agents ruwe experimentele gegevens kunnen interpreteren, fouten kunnen herkennen en kunnen vaststellen wanneer de gegevens een conclusie niet ondersteunen. Het is belangrijk dat deze taken goed worden uitgevoerd. Een verkeerd geïnterpreteerd beeld of een gemist probleem met de controles waarmee de resultaten van een experiment worden geverifieerd, kan ertoe leiden dat wetenschappers de verkeerde conclusie trekken en tijd besteden aan experimenten die hun vraag niet helpen beantwoorden.

Bij de instelling "xhigh", die meer redenering per taak toestaat, behaalde GPT‑6 Astra gemiddeld 66,7% van de beschikbare punten, tegenover 43,8% voor GPT‑5.6 Sol. De resultaten tonen vooruitgang bij routinematige labanalyses, met ruimte voor verdere verbetering in het interpreteren van beelden, het controleren van controles en het toepassen van de experimentele context.

BioBasicsBench gebruikt ruwe experimentele gegevens, van gelbeelden en kolonieplaten tot microscopiebeelden en instrumentmetingen.

BioBasicsBench bevat 100 taken binnen vijf gebieden van routinematig wetlabwerk: eiwitmethoden, beeldvorming en cytometrie, kwantificering en assays, nucleïnezuurmethoden en moleculaire klonering. De taken variëren van eenvoudige verzoeken, zoals het aflezen van het molecuulgewicht van een DNA-monster in een gel, tot gedetailleerde assayanalyses. Ze betreffen allemaal routinewerk dat wetenschappers in wetlabs betrouwbaar moeten kunnen uitvoeren.

Wetenschappers stelden de taken samen met gegevens uit hun eigen experimenten en koppelden elke vraag aan beoordelingscriteria die door experts waren opgesteld. Elke taak werd intern beoordeeld door een Ligo-wetenschapper die deze niet zelf had geschreven, extern door een wetenschapper op PhD-niveau die in een wetlab werkt, en tot slot nogmaals intern.

Agents geven een gestructureerd antwoord met de gevraagde conclusie, meting of aanbeveling en, waar nodig, een onderbouwende redenering. Antwoorden krijgen punten op basis van afzonderlijke criteria in het beoordelingsschema, zodat de benchmark onderscheid kan maken tussen een juiste conclusie en een gedeeltelijk juiste analyse. De meeste taken toetsen meerdere vaardigheden tegelijk, waaronder biologische kennis, interpretatie van beelden en andere gegevens, foutdetectie en begrip van protocollen.

De invoer behoudt de vormen waarin wetenschappers hun gegevens gebruiken: gel- en blotbeelden, foto's van platen, microscopiestacks, sequencingreads, plaatlezerexports en video's van labwerk. Een taak kan meerdere soorten gegevens bevatten. Referentiebladen, zoals ladderschema's en plasmidekaarten, ondersteunen de interpretatie van de experimentele gegevens.

Wetenschappers schreven de taken op basis van gegevens uit hun eigen experimenten en koppelden de experimentele gegevens aan een vraag en een door experts opgesteld beoordelingsschema. Elke taak werd intern beoordeeld door een Ligo-wetenschapper die deze niet zelf had geschreven, extern door een wetenschapper op PhD-niveau die in een wetlab werkt, en tot slot nogmaals intern. Beoordelaars controleerden de prompt, de experimentele gegevens, het beoordelingsschema, de notities van de auteur en een beoordeelde poging van een model.

Antwoorden worden beoordeeld aan de hand van het beoordelingsschema van de taak, dat punten toekent voor afzonderlijke criteria. Afhankelijk van de taak beoordelen deze criteria de conclusie, numerieke resultaten, de onderbouwende redenering of het inzicht dat de gegevens ontoereikend zijn.

We evalueerden zeven modellen met BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna en GPT‑6 Astra. De evaluatie omvat 37 combinaties van modellen en instellingen voor redeneringsinspanning, met per combinatie vijf pogingen voor elk van de 100 taken: in totaal 18.500 resultaten.

We rapporteren de gemiddelde beloning: de gemiddelde taakscore, uitgedrukt als percentage van het maximaal te behalen aantal punten. Foutbalken geven 95%-betrouwbaarheidsintervallen weer, berekend door hele taken opnieuw te bemonsteren, waarbij de vijf pogingen voor elke taak bij elkaar blijven.

GPT‑6 Astra presteert aanzienlijk beter dan GPT‑5.6 Sol, zelfs bij een lage redeneringsinspanning. Deze vooruitgang suggereert dat sterkere ingebouwde multimodale capaciteiten cruciaal kunnen zijn voor betere prestaties bij dagelijkse wetlabanalyses.

Een veelvoorkomende valkuil in de wetenschap is te veel uit de gegevens afleiden, vooral door de vooringenomenheid die bij het toetsen van een hypothese kan optreden. Astra bleek beter in staat om de grenzen te herkennen van wat de gegevens laten zien en geen ongefundeerde conclusies te trekken.

In dit voorbeeld classificeerde GPT‑5.6 Sol cellen als dood op basis van het signaal van een kleurstof die wordt gebruikt om dode cellen te detecteren. Maar de detector kon ook licht van een tweede kleurstof opvangen, dus de helderheid alleen rechtvaardigde die conclusie niet. Astra herkende deze ambiguïteit en gaf aan dat betere controles nodig waren om de signalen van elkaar te onderscheiden.

Wetenschappelijk onderzoek is sterk multimodaal en vereist voortdurend visuele interpretatie en besluitvorming. Astra liet een aanzienlijke verbetering zien in het verwerken van multimodale gegevens in de vorm van foto's en video's, en van ruwe uitvoer van sequencing, plaatlezerassays, microscopie en flowcytometrie.

Op het meest basale niveau was deze verbetering zichtbaar doordat GPT‑6 Astra fijnere details kon opmerken in beelden die tijdens experimenten waren gemaakt en daardoor nauwkeurigere conclusies kon trekken, zoals dit voorbeeld laat zien. Bij deze taak moesten agents conclusies trekken uit een DNA-kloneringsexperiment, waarbij controles essentieel zijn. GPT‑5.6 Sol zag geen kolonies op de negatieve controleplaat en baseerde zijn conclusies op die waarneming. GPT‑6 Astra merkte op dat het label op de plaat het verkeerde antibioticum vermeldde en verwierp de plaat terecht als betrouwbare controle.

Wetenschappers moeten bij het analyseren van gegevens impliciete biologische kennis en de experimentele context in gedachten houden om de resultaten correct te kunnen interpreteren. Astra bleek beter in staat om deze context vast te houden en gedurende de hele analyse toe te passen.

Een taak toonde cellen die in een reeks microscoopbeelden afwisselend scherp en onscherp in beeld kwamen. Terwijl GPT‑5.6 Sol zocht naar een biologische verklaring voor het schijnbare verdwijnen van de cellen, herkende GPT‑6 Astra terecht een z-stack: een reeks beelden die op verschillende diepten zijn gemaakt.

Hogere benchmarkscores betekenen nog niet dat modellen betrouwbare oordelen kunnen vellen in het lab. Deze voorbeelden van Astra laten zien hoe aannames, verwachte antwoorden en meegeleverde labels zwaarder kunnen wegen dan de gegevens, en hoe een juiste tussentijdse waarneming de uiteindelijke beslissing soms niet stuurt.

Astra laat een vertrouwde aanname zwaarder wegen dan de interpretatie die door de experimentele controles wordt ondersteund. Het kan de twee groepen koloniebanden onderscheiden, maar neemt aan dat een groter PCR-product op geslaagde klonering wijst. Op basis van die aanname stelt het banen 4, 6, 7 en 8 voor; de vergelijking met de controles in het referentieantwoord selecteert juist banen 5, 9 en 10.

Astra schuift waarnemingen die zijn voorkeursinterpretatie tegenspreken terzijde. Het concludeert dat vacuolen, compartimenten in cellen, doorgaans donkerder zijn dan de rest van de cel, hoewel sommige in hetzelfde beeld lichter lijken. Beide verschijningsvormen zijn van belang: een andere scherpstelling van de microscoop kan het contrast omkeren, dus de donkerdere voorbeelden vormen geen basis voor een algemene regel.

De telmarkeringen van Astra komen niet betrouwbaar overeen met afzonderlijke kolonies: het onderscheidt naburige kolonies niet goed, mist zichtbare kolonies en markeert agar zonder groei. Per saldo telt het op deze plaat ongeveer 12% meer kolonies dan het referentieantwoord van de benchmark.

Een onnauwkeurige kolonietelling heeft direct invloed op de schatting van hoe efficiënt DNA in cellen is ingebracht. Bij een gelijkblijvend uitgeplaat volume en dezelfde verdunning leidt te hoog tellen tot een overschatting met hetzelfde percentage.

Om biologisch onderzoek te versnellen, moet het dagelijkse werk goed worden uitgevoerd. BioBasicsBench maakt dat werk tot een gericht verbeterdoel: ruwe experimentele gegevens interpreteren, controles nagaan en herkennen wanneer een conclusie niet wordt ondersteund. Vooruitgang bij deze taken kan wetenschappers helpen minder tijd te besteden aan het oplossen van problemen en meer aan het bepalen welke experimenten ze vervolgens willen uitvoeren. Door deze capaciteiten te volgen, kunnen we ook beter begrijpen wat ze betekenen voor bioveiligheid en biobeveiliging.