Att mäta hur AI-agenter hanterar vardagligt arbete i våtlabb

Vårt uppdrag är att säkerställa att artificiell generell intelligens gynnar hela mänskligheten. Som en del av det uppdraget vill vi hjälpa forskare att påskynda biologisk forskning – från att förstå sjukdomar till att utveckla nya behandlingar. För att AI-agenter ska kunna bidra måste de tillförlitligt kunna tolka de experimentella underlag som forskare arbetar med varje dag i våtlabb, där de utför experiment med biologiska prover. Det dagliga arbetet i våtlabb innefattar misslyckade experiment, svårtolkade bilder och motstridiga observationer. Befintliga utvärderingar bygger på diagram och bilder som valts ut för vetenskapliga artiklar och kan därför missa denna tvetydighet och den felsökning som den kräver. Därför introducerar vi BioBasicsBench, en ny utvärdering utvecklad tillsammans med Ligo, ett bioteknikföretag inriktat på enzymdesign, för att mäta hur väl agenter hanterar rutinmässig analys i våtlabb.

Utvärderingens 100 uppgifter testar om agenter kan tolka experimentella rådata, identifiera fel och inse när underlaget inte räcker för en slutsats. Det är viktigt att lösa dessa uppgifter korrekt. Att feltolka en bild eller förbise ett problem med kontrollerna som används för att verifiera ett experiments resultat kan få forskare att dra fel slutsats och lägga tid på experiment som inte hjälper dem att besvara sin fråga.

Med inställningen ”xhigh”, som tillåter mer resonemang per uppgift, fick GPT‑6 Astra i genomsnitt 66,7 % av de möjliga poängen, jämfört med 43,8 % för GPT‑5.6 Sol. Resultaten visar framsteg inom rutinmässig labbanalys, med utrymme för ytterligare förbättringar i att tolka bilder, granska kontroller och ta hänsyn till experimentets sammanhang.

BioBasicsBench använder obearbetade experimentella underlag, från gelbilder och koloniplattor till mikroskopi och instrumentavläsningar.

BioBasicsBench har 100 uppgifter inom fem områden av rutinmässigt arbete i våtlabb: proteinmetoder, avbildning och cytometri, kvantifiering och analyser, nukleinsyrametoder samt molekylär kloning. Uppgifterna sträcker sig från enkla frågor, som att avläsa molekylvikten för ett DNA-prov i en gel, till detaljerad analys av testresultat. Alla rör dock rutinarbete som forskare i våtlabb bör kunna utföra tillförlitligt.

Forskare skapade uppgifterna med data från sina egna experiment och kopplade varje fråga till bedömningskriterier utformade av experter. Varje uppgift genomgick en intern granskning av en Ligo-forskare som inte hade skrivit den, en extern granskning av en disputerad forskare som arbetar i ett våtlabb och en avslutande intern granskning.

Agenterna ger ett strukturerat svar med den efterfrågade slutsatsen, mätningen eller rekommendationen och, när det krävs, underbyggande resonemang. Svaren får poäng utifrån enskilda kriterier i bedömningsmallen, vilket gör att utvärderingen kan skilja en korrekt slutsats från en delvis korrekt analys. De flesta uppgifter testar flera färdigheter samtidigt, bland annat biologisk kunskap, tolkning av bilder och andra data, felidentifiering och protokollförståelse.

Indata behåller de format som forskare arbetar med: gel- och blottbilder, foton av plattor, mikroskopiska bildstackar, sekvenseringsläsningar, exporter från plattläsare och videor av arbete vid labbänken. En uppgift kan innehålla flera typer av data. Referensblad, som scheman över storleksmarkörer och plasmidkartor, ger stöd för tolkningen av det experimentella underlaget.

Forskare skrev uppgifterna med data från sina egna experiment och kopplade det experimentella underlaget till en fråga och en bedömningsmall utformad av experter. Varje uppgift genomgick en intern granskning av en Ligo-forskare som inte hade skrivit den, en extern granskning av en disputerad forskare som arbetar i ett våtlabb och en avslutande intern granskning. Granskarna kontrollerade prompten, det experimentella underlaget, bedömningsmallen, författarens anteckningar och ett poängsatt modellförsök.

Svaren poängsätts utifrån uppgiftens bedömningsmall, som tilldelar poäng för enskilda kriterier. Beroende på uppgiften bedömer kriterierna slutsatsen, numeriska resultat, underbyggande resonemang eller insikten att underlaget är otillräckligt.

Vi utvärderade sju modeller med BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna och GPT‑6 Astra. Utvärderingen omfattar 37 kombinationer av modell och resonemangsnivå, med fem försök på var och en av de 100 uppgifterna per kombination, vilket ger totalt 18 500 resultat.

Vi redovisar genomsnittlig belöning: den genomsnittliga uppgiftspoängen, uttryckt som en procentandel av de möjliga poängen. Felstaplarna visar 95-procentiga konfidensintervall beräknade genom upprepad sampling av hela uppgifter, där de fem försöken för varje uppgift hålls samman.

GPT‑6 Astra presterar betydligt bättre än GPT‑5.6 Sol, även vid låg resonemangsnivå. Dessa förbättringar tyder på att starkare inbyggda multimodala förmågor kan vara avgörande för bättre resultat vid vardaglig analys i våtlabb.

En vanlig fallgrop inom vetenskapen är att övertolka data, särskilt med tanke på de tankemässiga snedvridningar som uppstår när man prövar en hypotes. Astra visade bättre förmåga att urskilja gränsen för vad data visar och undvika ogrundade slutsatser.

I det här exemplet klassificerade GPT‑5.6 Sol celler som döda utifrån signalen från ett färgämne som används för att upptäcka döda celler. Men detektorn kunde också fånga upp ljus från ett annat färgämne, så enbart ljusstyrkan kunde inte motivera den slutsatsen. Astra uppmärksammade denna tvetydighet och efterfrågade bättre kontroller för att skilja signalerna åt.

Vetenskaplig forskning är i hög grad multimodal och kräver ständig visuell tolkning och ständiga beslut. Astra visade en betydande förbättring i hanteringen av multimodala data i form av foton och videor, liksom rådata från sekvensering, analyser av skivläsning, mikroskopi och flödescytometri.

På den mest grundläggande nivån märktes förbättringen genom att GPT‑6 Astra kunde upptäcka ingående detaljer i bilder tagna under experiment och därmed dra mer korrekta slutsatser, som i det här exemplet. I den här uppgiften skulle agenter dra slutsatser från ett DNA-kloningsexperiment, där kontroller är avgörande. GPT‑5.6 Sol såg inga kolonier på den negativa kontrollplattan och baserade sina slutsatser på den observationen. GPT‑6 Astra noterade att plattan var märkt med fel antibiotikum och bedömde korrekt att den inte var en tillförlitlig kontroll.

Forskare måste kunna ha både tyst biologisk kunskap och experimentets sammanhang i åtanke när de analyserar data för att tolka resultaten korrekt. Astra visade bättre förmåga att hålla fast vid detta sammanhang och tillämpa det genom hela analysen.

En uppgift visade celler som kom i och ur fokus i en serie mikroskopbilder. Medan GPT‑5.6 Sol sökte en biologisk förklaring till att cellerna verkade försvinna, identifierade GPT‑6 Astra korrekt en z-stack: en serie bilder tagna på olika djup.

Högre poäng i utvärderingar innebär ännu inte att modellerna kan göra tillförlitliga bedömningar i labbet. Dessa exempel med Astra visar hur antaganden, förväntade svar och angivna märkningar kan väga tyngre än underlaget, och hur en korrekt observation under analysen inte alltid får styra det slutliga beslutet.

Astra låter ett välbekant antagande väga tyngre än den tolkning som stöds av experimentets kontroller. Den kan skilja de två grupperna av koloniband åt, men antar att en större PCR-produkt skulle visa att kloningen lyckats. Utifrån det antagandet föreslår den banorna 4, 6, 7 och 8. Referenssvarets jämförelse med kontrollerna väljer i stället banorna 5, 9 och 10.

Astra bortser från observationer som motsäger dess föredragna tolkning. Den drar slutsatsen att vakuoler, avgränsade utrymmen inuti celler, i allmänhet är mörkare än resten av cellen, trots att vissa ser ljusare ut i samma bild. Båda utseendena är viktiga: en ändring av mikroskopets fokus kan vända kontrasten, så de mörkare exemplen räcker inte för att fastställa en allmän regel.

Astras räknemarkeringar motsvarar inte tillförlitligt enskilda kolonier: den kan inte skilja tätt liggande kolonier åt, missar synliga kolonier och markerar agar utan kolonier. Nettoresultatet för den här plattan är en överskattning av antalet med cirka 12 % jämfört med utvärderingens referensvärde.

Ett felaktigt koloniantal påverkar direkt uppskattningen av hur effektivt DNA fördes in i cellerna. Om den utplattade volymen och spädningen hålls konstanta, blir uppskattningen för hög i samma proportion som överräkningen.

Att påskynda biologisk forskning kräver att det vardagliga arbetet blir rätt. BioBasicsBench gör detta arbete till ett mål för förbättring: att tolka experimentella rådata, granska kontroller och inse när en slutsats saknar stöd. Framsteg inom dessa uppgifter skulle kunna hjälpa forskare att lägga mindre tid på felsökning och mer tid på att avgöra vilka experiment de ska gå vidare med. Att följa dessa förmågor hjälper oss också att förstå deras konsekvenser för biosäkerhet och bioskydd.