Sådan måler vi AI-agenters evner i det daglige arbejde i vådlaboratorier

Vores mission er at sikre, at kunstig generel intelligens kommer hele menneskeheden til gode. Som en del af den mission vil vi hjælpe forskere med at sætte fart på biologisk forskning – fra at forstå sygdomme til at udvikle nye behandlinger. For at AI-agenter kan bidrage, skal de pålideligt kunne fortolke det forsøgsmateriale, som forskere arbejder med hver dag i vådlaboratorier, hvor de udfører forsøg med biologiske prøver. Det daglige arbejde i vådlaboratorier byder på mislykkede forsøg, tvetydige billeder og modstridende observationer. Eksisterende benchmarks bygger på grafer og billeder udvalgt til videnskabelige artikler og indfanger derfor ikke nødvendigvis denne tvetydighed og den fejlfinding, den kræver. Derfor introducerer vi BioBasicsBench, en ny benchmark udviklet sammen med Ligo, en biotekvirksomhed med fokus på enzymdesign, som måler, hvor godt agenter håndterer rutineanalyser i vådlaboratorier.

Benchmarkens 100 opgaver tester, om agenter kan fortolke rå forsøgsdata, identificere fejl og erkende, når data ikke giver grundlag for en konklusion. Det er vigtigt at løse disse opgaver korrekt, fordi fejlfortolkning af et billede eller et overset problem med de kontroller, der bruges til at efterprøve et forsøgs resultater, kan få forskere til at drage en forkert konklusion og bruge tid på forsøg, der ikke bidrager til at besvare deres spørgsmål.

Med indstillingen »xhigh«, som tillader mere ræsonnering pr. opgave, opnåede GPT‑6 Astra i gennemsnit 66,7 % af de mulige point mod 43,8 % for GPT‑5.6 Sol. Resultaterne viser fremskridt inden for rutinemæssig laboratorieanalyse, men også plads til yderligere forbedringer i billedfortolkning, kontrolvurdering og inddragelse af forsøgets kontekst.

BioBasicsBench bruger rå forsøgsdata, fra gelbilleder og plader med kolonier til mikroskopi og instrumentaflæsninger.

BioBasicsBench har 100 opgaver fordelt på fem områder af det daglige arbejde i vådlaboratorier: proteinmetoder, billeddannelse og cytometri, kvantificering og assays, nukleinsyremetoder samt molekylær kloning. Opgaverne spænder fra enkle anmodninger, såsom at aflæse molekylvægten af en DNA-prøve i en gel, til detaljeret assay-analyse. Alle omhandler dog rutinearbejde, som forskere i vådlaboratorier bør kunne udføre pålideligt.

Forskere udarbejdede opgaverne med data fra deres egne forsøg og knyttede ekspertudarbejdede bedømmelseskriterier til hvert spørgsmål. Hver opgave gennemgik en intern vurdering af en Ligo-forsker, der ikke havde skrevet den, en ekstern vurdering af en forsker på ph.d.-niveau, der arbejder i et vådlaboratorium, og en afsluttende intern vurdering.

Agenterne leverer et struktureret svar med den ønskede konklusion, måling eller anbefaling og, hvor det kræves, understøttende ræsonnering. Svarene tildeles point ud fra de enkelte kriterier i bedømmelsesvejledningen, så benchmarken kan skelne mellem en korrekt konklusion og en delvist korrekt analyse. De fleste opgaver tester flere færdigheder på én gang, herunder biologisk viden, fortolkning af billeder og andre data, fejldetektion og forståelse af forsøgsprotokoller.

Inputmaterialet bevarer de former, som forskernes data har i praksis: gel- og blotbilleder, fotos af plader, mikroskopistakke, sekvenslæsninger, eksporter fra pladelæsere og videoer af laboratoriearbejde. En opgave kan indeholde flere typer data. Referenceark, såsom oversigter over størrelsesmarkører og plasmidkort, understøtter fortolkningen af forsøgsdataene.

Forskere skrev opgaverne med data fra deres egne forsøg og knyttede et spørgsmål og en ekspertudarbejdet bedømmelsesvejledning til forsøgsmaterialet. Hver opgave gennemgik en intern vurdering af en Ligo-forsker, der ikke havde skrevet den, en ekstern vurdering af en forsker på ph.d.-niveau, der arbejder i et vådlaboratorium, og en afsluttende intern vurdering. Bedømmerne gennemgik prompten, forsøgsmaterialet, bedømmelsesvejledningen, forfatterens noter og et bedømt modelforsøg.

Svarene bedømmes efter opgavens bedømmelsesvejledning, som tildeler point for de enkelte kriterier. Afhængigt af opgaven vurderer kriterierne konklusionen, de numeriske resultater, den understøttende ræsonnering eller erkendelsen af, at datagrundlaget er utilstrækkeligt.

Vi evaluerede syv modeller på BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna og GPT‑6 Astra. Evalueringen omfatter 37 kombinationer af model og ræsonneringsindsats med fem forsøg på hver af de 100 opgaver pr. kombination, i alt 18.500 resultater.

Vi rapporterer gennemsnitlig belønning: den gennemsnitlige opgavescore udtrykt som en procentdel af de mulige point. Fejlsøjler viser 95 %-konfidensintervaller beregnet ved genudtrækning af hele opgaver, hvor de fem forsøg for hver opgave holdes samlet.

GPT‑6 Astra klarer sig markant bedre end GPT‑5.6 Sol, selv ved lav ræsonneringsindsats. Disse fremskridt tyder på, at stærkere indbyggede multimodale evner kan være nøglen til bedre resultater i den daglige analyse i vådlaboratorier.

En almindelig faldgrube i videnskab er at overfortolke data, især på grund af den bias, der kan opstå, når man tester en hypotese. Astra viste en bedre evne til at se grænserne for, hvad data viser, og undgå at drage ubegrundede konklusioner.

I dette eksempel klassificerede GPT‑5.6 Sol celler som døde ud fra signalet fra et farvestof, der bruges til at påvise døde celler. Men detektoren kunne også opfange lys fra et andet farvestof, så lysstyrken alene kunne ikke begrunde den konklusion. Astra identificerede denne tvetydighed og efterlyste bedre kontroller til at adskille signalerne.

Videnskabelig forskning er i høj grad multimodal og kræver løbende visuel fortolkning og beslutningstagning. Astra viste en betydelig forbedring i håndteringen af multimodale data i form af fotos og videoer samt rådata fra sekventering, assays med pladelæsere, mikroskopi og flowcytometri.

På det mest grundlæggende niveau kom forbedringen til udtryk i GPT‑6 Astras evne til at opfange finere detaljer i billeder taget under forsøg og dermed drage mere præcise konklusioner, som dette eksempel viser. I denne opgave skulle agenter drage konklusioner ud fra et DNA-kloningsforsøg, hvor kontroller er afgørende. GPT‑5.6 Sol så ingen kolonier på den negative kontrolplade og baserede sine konklusioner på den observation. GPT‑6 Astra bemærkede, at pladen var mærket med det forkerte antibiotikum, og afviste den med rette som en pålidelig kontrol.

Forskere skal kunne have både tavs biologisk viden og forsøgets kontekst i baghovedet, mens de analyserer data, for at fortolke resultaterne korrekt. Astra viste en forbedret evne til at fastholde denne kontekst og inddrage den gennem hele analysen.

En opgave viste celler, der kom ind og ud af fokus i en serie mikroskopbilleder. Mens GPT‑5.6 Sol ledte efter en biologisk forklaring på, at cellerne tilsyneladende forsvandt, genkendte GPT‑6 Astra korrekt en z-stak: en serie billeder taget i forskellige dybder.

Højere benchmarkscores betyder endnu ikke, at modellerne kan foretage pålidelige vurderinger i laboratoriet. Disse eksempler med Astra viser, hvordan antagelser, forventede svar og angivne mærkninger kan få forrang frem for data, og hvordan en korrekt observation undervejs ikke nødvendigvis styrer den endelige beslutning.

Astra lader en velkendt antagelse få forrang frem for den fortolkning, som forsøgets kontroller understøtter. Den kan skelne mellem de to grupper af bånd fra kolonierne, men antager, at et større PCR-produkt er tegn på vellykket kloning. På det grundlag foreslår den banerne 4, 6, 7 og 8; referencesvarets sammenligning med kontrollerne peger i stedet på banerne 5, 9 og 10.

Astra nedprioriterer observationer, der modsiger dens foretrukne fortolkning. Den konkluderer, at vakuoler, som er rum inde i celler, generelt er mørkere end resten af cellen, selvom nogle fremstår lysere i det samme billede. Begge udseender er relevante: Ændringer i mikroskopets fokus kan vende kontrasten, så de mørkere eksempler kan ikke danne grundlag for en generel regel.

Astras tællemarkeringer svarer ikke pålideligt til de enkelte kolonier: Den kan ikke skelne mellem tætte nabokolonier, overser synlige kolonier og markerer agar uden vækst. Samlet set tæller den cirka 12 % for mange kolonier på denne plade i forhold til benchmarkens reference.

En unøjagtig kolonitælling påvirker direkte estimatet af, hvor effektivt DNA blev indført i cellerne. Når det udpladede volumen og fortyndingen holdes konstante, øger en overtælling estimatet med samme procentdel.

Hvis vi skal sætte fart på biologisk forskning, kræver det, at det daglige arbejde udføres korrekt. BioBasicsBench gør dette arbejde til et mål for forbedring: at fortolke rå forsøgsdata, vurdere kontroller og erkende, når der ikke er grundlag for en konklusion. Fremskridt på disse opgaver kan hjælpe forskere med at bruge mindre tid på fejlfinding og mere tid på at beslutte, hvilke forsøg de skal gå videre med. Ved at følge udviklingen af disse evner kan vi også bedre forstå deres betydning for biosikkerhed og biosikring.