Vi måler hvordan AI-agenter håndterer hverdagen i våtlaboratorier

Oppdraget vårt er å sikre at kunstig generell intelligens kommer hele menneskeheten til gode. Som en del av dette oppdraget ønsker vi å hjelpe forskere med å fremskynde biologisk forskning – fra å forstå sykdommer til å utvikle nye behandlinger. For at AI-agenter skal kunne bidra, må de pålitelig kunne tolke forsøksdataene som forskere arbeider med hver dag i våtlaboratorier, der de utfører eksperimenter med biologiske prøver. Hverdagen i våtlaboratorier innebærer mislykkede eksperimenter, tvetydige bilder og motstridende observasjoner. Eksisterende evalueringstester er bygd rundt diagrammer og bilder valgt ut til vitenskapelige artikler, og kan overse denne tvetydigheten og feilsøkingen den krever. Derfor lanserer vi BioBasicsBench, en ny evalueringstest utviklet sammen med Ligo, et bioteknologiselskap som arbeider med enzymdesign, for å måle hvor godt agenter håndterer rutineanalyser i våtlaboratorier.

Testens 100 oppgaver undersøker om agenter kan tolke rådata fra eksperimenter, identifisere feil og oppdage når datagrunnlaget ikke støtter en konklusjon. Det er viktig å løse disse oppgavene riktig. Feiltolkning av et bilde eller et oversett problem med kontrollene som brukes til å sjekke forsøksresultater, kan få forskere til å trekke feil konklusjon og bruke tid på eksperimenter som ikke bidrar til å besvare spørsmålet deres.

Med innstillingen «xhigh», som gir rom for mer resonnering per oppgave, oppnådde GPT‑6 Astra i gjennomsnitt 66,7 % av mulige poeng, mot 43,8 % for GPT‑5.6 Sol. Resultatene viser fremgang innen rutinemessig laboratorieanalyse, med rom for ytterligere forbedringer i bildetolkning, kontrollsjekk og bruk av eksperimentets kontekst.

BioBasicsBench bruker ubehandlede forsøksdata, fra gelbilder og plater med kolonier til mikroskopibilder og instrumentavlesninger.

BioBasicsBench har 100 oppgaver fordelt på fem områder innen rutinearbeid i våtlaboratorier: proteinmetoder, avbildning og cytometri, kvantifisering og analyser, nukleinsyremetoder og molekylær kloning. Oppgavene spenner fra enkle forespørsler, som å lese av molekylvekten til en DNA-prøve i en gel, til detaljert vurdering av analyseresultater. Alle gjelder imidlertid rutinearbeid som forskere i våtlaboratorier bør kunne utføre pålitelig.

Forskere laget oppgavene med data fra egne eksperimenter og knyttet hvert spørsmål til vurderingskriterier skrevet av eksperter. Hver oppgave ble gjennomgått internt av en Ligo-forsker som ikke hadde skrevet den, eksternt av en forsker på doktorgradsnivå som arbeider i et våtlaboratorium, og til slutt internt én gang til.

Agentene gir et strukturert svar med den etterspurte konklusjonen, målingen eller anbefalingen og, der det kreves, underbyggende resonnering. Svarene får poeng etter individuelle vurderingskriterier, slik at testen kan skille en riktig konklusjon fra en delvis riktig analyse. De fleste oppgavene tester flere ferdigheter samtidig, blant annet biologisk kunnskap, tolkning av bilder og andre data, feiloppdagelse og protokollforståelse.

Inndataene beholder formatene forskerne arbeider med: gel- og blottbilder, fotografier av plater, mikroskopistakker, sekvensavlesninger, eksporter fra platelesere og videoer av arbeid ved laboratoriebenken. En oppgave kan inneholde flere typer data. Referanseark, som oversikter over størrelsesmarkører og plasmidkart, støtter tolkningen av forsøksdataene.

Forskere skrev oppgavene med data fra egne eksperimenter og koblet forsøksdataene til et spørsmål og en vurderingsmatrise skrevet av eksperter. Hver oppgave ble gjennomgått internt av en Ligo-forsker som ikke hadde skrevet den, eksternt av en forsker på doktorgradsnivå som arbeider i et våtlaboratorium, og til slutt internt én gang til. De som gjennomgikk oppgavene, kontrollerte prompten, forsøksdataene, vurderingsmatrisen, forfatternotatene og et poengsatt svarforsøk fra en modell.

Svarene poengsettes etter oppgavens vurderingsmatrise, som tildeler poeng for individuelle kriterier. Avhengig av oppgaven vurderer kriteriene konklusjonen, tallresultatene, den underbyggende resonneringen eller erkjennelsen av at datagrunnlaget er utilstrekkelig.

Vi evaluerte sju modeller på BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna og GPT‑6 Astra. Evalueringen omfatter 37 kombinasjoner av modell og resonneringsinnsats, med fem forsøk på hver av de 100 oppgavene per kombinasjon, til sammen 18 500 resultater.

Vi rapporterer gjennomsnittlig belønning: gjennomsnittlig oppgaveskår, uttrykt som prosent av mulige poeng. Feilstolpene viser 95 % konfidensintervaller beregnet ved å trekke nye utvalg av hele oppgaver, der de fem forsøkene for hver oppgave holdes samlet.

GPT‑6 Astra presterer betydelig bedre enn GPT‑5.6 Sol, selv med lav resonneringsinnsats. Disse forbedringene tyder på at sterkere innebygde multimodale evner kan være nøkkelen til bedre resultater ved rutinemessig analyse i våtlaboratorier.

En vanlig fallgruve i forskning er å overtolke data, særlig på grunn av skjevhetene som oppstår når man tester en hypotese. Astra viste bedre evne til å se grensene for hva dataene viser, og unngå å trekke ubegrunnede konklusjoner.

I dette eksemplet klassifiserte GPT‑5.6 Sol celler som døde basert på signalet fra et fargestoff som brukes til å påvise døde celler. Men detektoren kunne også fange opp lys fra et annet fargestoff, så lysstyrken alene kunne ikke begrunne denne konklusjonen. Astra oppdaget denne tvetydigheten og etterlyste bedre kontroller for å skille signalene.

Vitenskapelig forskning er i stor grad multimodal og krever kontinuerlig visuell tolkning og beslutningstaking. Astra viste betydelig bedre evne til å håndtere multimodale data i form av bilder og videoer, samt rådata fra sekvensering, plateleseranalyser, mikroskopi og flowcytometri.

På det mest grunnleggende nivået kom forbedringen til uttrykk i GPT‑6 Astras evne til å oppfatte finere detaljer i bilder tatt under eksperimenter og dermed trekke mer presise konklusjoner, slik dette eksemplet viser. I denne oppgaven skulle agentene trekke konklusjoner fra et DNA-kloningseksperiment, der kontroller er avgjørende. GPT‑5.6 Sol så ingen kolonier på den negative kontrollplaten og baserte konklusjonene sine på denne observasjonen. GPT‑6 Astra la merke til at platen var merket med feil antibiotikum, og avviste den med rette som en pålitelig kontroll.

Forskere må ha både taus biologisk kunnskap og eksperimentets kontekst i bakhodet når de analyserer data, for å tolke resultatene riktig. Astra viste bedre evne til å holde fast ved denne konteksten og bruke den gjennom hele analysen.

En oppgave viste celler som kom inn og ut av fokus i en serie mikroskopbilder. Mens GPT‑5.6 Sol lette etter en biologisk forklaring på at cellene tilsynelatende forsvant, gjenkjente GPT‑6 Astra korrekt en z-stakk: en serie bilder tatt ved ulike dybder.

Høyere skår på evalueringstester betyr ennå ikke at modeller kan gjøre pålitelige vurderinger i laboratoriet. Disse eksemplene fra Astra viser hvordan antakelser, forventede svar og oppgitte merkinger kan overstyre datagrunnlaget, og hvordan en korrekt observasjon underveis ikke nødvendigvis får styre den endelige avgjørelsen.

Astra lar en velkjent antakelse overstyre tolkningen som forsøkets kontroller støtter. Den kan skille de to gruppene av bånd fra koloniprøvene, men antar at et større PCR-produkt vil vise at kloningen har lyktes. Med denne forutsetningen foreslår den banene 4, 6, 7 og 8; referansesvarets sammenligning med kontrollene peker i stedet på banene 5, 9 og 10.

Astra nedprioriterer observasjoner som motsier den foretrukne tolkningen. Den konkluderer med at vakuoler, rom inne i cellene, generelt er mørkere enn resten av cellen, selv om noen ser lysere ut i det samme bildet. Begge uttrykkene er viktige: Når mikroskopets fokus endres, kan kontrasten snus. De mørkere eksemplene gir derfor ikke grunnlag for en generell regel.

Astras tellemarkeringer samsvarer ikke pålitelig med enkeltkolonier: Den klarer ikke å skille nære naboer, overser synlige kolonier og markerer agar uten vekst. Nettoresultatet på denne platen er en overtelling på omtrent 12 % sammenlignet med testens referansetelling.

En unøyaktig kolonitelling påvirker direkte estimatene for hvor effektivt DNA ble innført i cellene. Når det utplaterte volumet og fortynningen holdes uendret, fører en overtelling til at estimatet blir tilsvarende for høyt.

Å fremskynde biologisk forskning krever at det daglige arbeidet gjøres riktig. BioBasicsBench gjør dette arbeidet til et mål for forbedring: å tolke rådata fra eksperimenter, sjekke kontroller og oppdage når en konklusjon mangler støtte. Fremgang på disse oppgavene kan hjelpe forskere med å bruke mindre tid på feilsøking og mer tid på å avgjøre hvilke eksperimenter de bør gå videre med. Å følge utviklingen av disse evnene vil også hjelpe oss med å forstå hva de betyr for biosikkerhet og biosikring.