Koliko se dobro AI agenti snalaze u svakodnevnom eksperimentalnom laboratorijskom radu
Predstavljamo BioBasicsBench, evaluacijski skup koji mjeri koliko dobro AI agenti tumače sirove eksperimentalne podatke u 100 rutinskih laboratorijskih zadataka.
Naša je misija osigurati da opća umjetna inteligencija koristi cijelom čovječanstvu. U sklopu te misije želimo pomoći znanstvenicima da ubrzaju biološka istraživanja – od razumijevanja bolesti do razvoja novih terapija. Kako bi AI agenti mogli pridonijeti tome, moraju pouzdano tumačiti eksperimentalne podatke s kojima znanstvenici svakodnevno rade u laboratorijima, gdje provode pokuse s biološkim uzorcima. Svakodnevni eksperimentalni laboratorijski rad uključuje neuspjele pokuse, dvosmislene slike i proturječna opažanja. Postojeći evaluacijski skupovi temelje se na grafikonima i slikama odabranima za znanstvene radove pa mogu previdjeti tu dvosmislenost i potrebu za otkrivanjem i rješavanjem problema. Zato predstavljamo BioBasicsBench, novi evaluacijski skup razvijen s tvrtkom Ligo, biotehnološkom tvrtkom usmjerenom na dizajn enzima, koji mjeri koliko se dobro agenti snalaze u rutinskoj analizi laboratorijskih pokusa.
Njegovih 100 zadataka provjerava mogu li agenti tumačiti sirove eksperimentalne podatke, prepoznati pogreške i uočiti kada podaci ne podupiru zaključak. Točno rješavanje tih zadataka važno je jer pogrešno tumačenje slike ili previd problema s kontrolnim uzorcima za provjeru rezultata pokusa može navesti znanstvenike da donesu pogrešan zaključak i troše vrijeme na pokuse koji neće pomoći odgovoriti na njihovo pitanje.
Uz postavku „xhigh”, koja omogućuje više rasuđivanja po zadatku, GPT‑6 Astra ostvarila je prosječno 66,7 % mogućih bodova, u usporedbi s 43,8 % za GPT‑5.6 Sol. Rezultati pokazuju napredak u rutinskoj laboratorijskoj analizi, uz prostor za daljnja poboljšanja u tumačenju slika, provjeri kontrolnih uzoraka i uvažavanju konteksta pokusa.
BioBasicsBench koristi sirove eksperimentalne podatke, od slika gelova i ploča s kolonijama do mikroskopskih snimki i očitanja instrumenata.
BioBasicsBench sadrži 100 zadataka iz pet područja rutinskog eksperimentalnog laboratorijskog rada: metode za proteine, snimanje i citometrija, kvantifikacija i analitički testovi, metode za nukleinske kiseline te molekularno kloniranje. Zadaci sežu od jednostavnih zahtjeva, poput očitavanja molekularne mase uzorka DNA u gelu, do detaljne analize testova, ali svi uključuju rutinski rad koji bi znanstvenici u eksperimentalnim laboratorijima trebali moći pouzdano obaviti.
Znanstvenici su izradili zadatke koristeći podatke iz vlastitih pokusa, a svako su pitanje povezali s kriterijima ocjenjivanja koje su sastavili stručnjaci. Svaki je zadatak prošao internu recenziju znanstvenika iz tvrtke Ligo koji ga nije sastavio, vanjsku recenziju znanstvenika s doktoratom koji radi u eksperimentalnom laboratoriju te završnu internu recenziju.
Agenti daju strukturiran odgovor s traženim zaključkom, mjerenjem ili preporukom te, kada je potrebno, rasuđivanjem koje ih podupire. Odgovori dobivaju bodove prema pojedinačnim kriterijima ocjenjivanja, što omogućuje razlikovanje točnog zaključka od djelomično točne analize. Većina zadataka istodobno ispituje više vještina, uključujući biološko znanje, tumačenje slika i drugih podataka, otkrivanje pogrešaka i razumijevanje protokola.
„Jedinstveni zadaci” broje svaki zadatak samo jednom. Stupci vještina broje zadatke označene pojedinom vještinom. Te se kategorije preklapaju: jedan zadatak može se pojaviti u više stupaca, pa se brojevi po vještinama ne smiju zbrajati kako bi se dobio ukupan broj zadataka. Boja označava područje, a intenzivnija nijansa veći udio zadataka iz tog područja koji ispituju određenu vještinu.
Ulazni podaci zadržavaju oblike s kojima znanstvenici rade: slike gelova i blotova, fotografije ploča, nizove mikroskopskih slika, očitanja sekvenciranja, podatke izvezene s čitača mikrotitarskih ploča i videozapise laboratorijskog rada. Zadatak može uključivati više vrsta podataka. Referentni listovi, poput prikaza markera molekularne mase i karata plazmida, pomažu pri tumačenju eksperimentalnih podataka.
Vrsta podataka | Zadaci | Što obuhvaća |
|---|---|---|
Gelovi i blotovi | 31 | Agarozni gelovi za DNA, gelovi za SDS-PAGE, Western blotovi |
Protokoli, bilješke i specifikacije | 27 | Protokoli i standardni operativni postupci, laboratorijski dnevnici i zapisi o izvođenju pokusa, fotografirane rukom pisane bilješke, katalozi, specifikacije instrumenata, objavljene metode |
Tablice i izvezeni podaci s instrumenata | 20 | Izvezene datoteke CSV i Excel, rasporedi staza i popisi zaliha, datoteke sa sirovim podacima protočne citometrije (FCS) |
Fotografije radnih stolova, opreme i reagensa | 18 | Radni stolovi, uređaji za gelsku elektroforezu, epruvete s reagensima i kulturama, PCR ploča, stalci za epruvete, pH trakice, koncentrator, zamrzivač, radna površina uređaja za rukovanje tekućinama |
Mikroskopija | 14 | Neobrađene slike svijetlog polja i fluorescencije, višekanalni skupovi slika, nizovi slika po osi z, videozapisi snimljeni u vremenskim razmacima |
Zasloni instrumenata i grafikoni | 13 | Fotografije zaslona protočnog citometra, mikroskopa, uređaja NanoDrop, čitača mikrotitarskih ploča i vage; izvezene standardne krivulje, kromatogrami i grafikoni |
Datoteke sekvenciranja | 12 | Sirove datoteke FASTQ s dugim očitanjima, sekvence FASTA, karte GenBank |
Videozapisi protokola | 7 | Nasađivanje metodom iscrpljenja, inokulacija, serijsko razrjeđivanje, postavljanje kadice za SDS-PAGE i inkubatora, vaganje na laboratorijskoj vagi |
Agarne ploče i kolonije | 7 | Ploče nakon transformacije, plavo-bijeli probir, ploče s antibiotskim diskovima |
Referentni listovi | 21 | Prikazi markera molekularne mase, karte plazmida, pH ljestvice (pomoćni materijal) |
Broj zadataka koji uključuju pojedinu vrstu podataka. Kategorije se preklapaju; referentni listovi služe kao pomoćni materijal.
Znanstvenici su sastavili zadatke koristeći podatke iz vlastitih pokusa, povezujući eksperimentalne podatke s pitanjem i shemom ocjenjivanja koju su izradili stručnjaci. Svaki je zadatak prošao internu recenziju znanstvenika iz tvrtke Ligo koji ga nije sastavio, vanjsku recenziju znanstvenika s doktoratom koji radi u eksperimentalnom laboratoriju te završnu internu recenziju. Recenzenti su provjerili upit, eksperimentalne podatke, shemu ocjenjivanja, autorove bilješke i ocijenjeni pokušaj modela.
Odgovori se ocjenjuju prema shemi za taj zadatak, koja dodjeljuje bodove pojedinačnim kriterijima. Ovisno o zadatku, ti kriteriji ocjenjuju zaključak, brojčane rezultate, rasuđivanje koje ih podupire ili prepoznavanje nedostatnosti podataka.
Na skupu BioBasicsBench evaluirali smo sedam modela: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna i GPT‑6 Astra. Evaluacija obuhvaća 37 kombinacija modela i razine rasuđivanja, s pet pokušaja na svakom od 100 zadataka po kombinaciji, što ukupno daje 18.500 rezultata.
Prikazujemo prosječnu nagradu: prosječni rezultat zadatka, izražen kao postotak mogućih bodova. Trake pogreške prikazuju 95-postotne intervale pouzdanosti izračunate ponovnim uzorkovanjem cijelih zadataka, pri čemu pet pokušaja za svaki zadatak ostaje zajedno.
Prosječna nagrada u odnosu na prosječan broj izlaznih tokena po zadatku, prikazan na logaritamskoj ljestvici. Svaka točka predstavlja ispitanu postavku razine rasuđivanja; linije redom povezuju te postavke. Vrijednost na osi x udvostručuje se na svakoj oznaci. Isprekidane narančaste linije prikazuju modele GPT‑5, a pune plave linije modele GPT‑6. Blijede trake prikazuju 95-postotne intervale pouzdanosti dobivene bootstrap uzorkovanjem cijelih zadataka. Svaka postavka obuhvaća svih 100 zadataka i pet pokušaja po zadatku. Postavke razine rasuđivanja razlikuju se među modelima.
GPT‑6 Astra znatno nadmašuje GPT‑5.6 Sol, čak i uz nisku razinu rasuđivanja. Ti pomaci upućuju na to da snažnije izvorne multimodalne sposobnosti mogu biti ključne za poboljšanje uspješnosti u svakodnevnoj analizi u eksperimentalnom laboratoriju.
Uspješnost uz razinu rasuđivanja xhigh
Model | Prosječna nagrada | 95-postotni interval pouzdanosti | Izlazni tokeni / zadatak |
|---|---|---|---|
GPT‑6 Astra | 66,7 % | 60,3–73,1 % | 4.704 |
GPT‑6.1 Sol | 62,0 % | 55,6–68,4 % | 5.238 |
GPT‑5.6 Sol | 43,8 % | 37,6–50,0 % | 9.099 |
GPT‑6 Luna | 38,3 % | 32,3–44,5 % | 13.120 |
GPT‑5.5 | 35,4 % | 29,7–41,0 % | 11.135 |
GPT‑5.4 | 33,2 % | 28,3–38,4 % | 13.717 |
GPT‑5.2 | 31,2 % | 26,2–36,3 % | 27.620 |
Xhigh je najviša postavka razine rasuđivanja za koju su navedeni rezultati svih sedam modela. Svaki redak obuhvaća svih 100 zadataka i pet pokušaja po zadatku. Rezultati za razinu Max, gdje su dostupni, uključeni su u gornji grafikon.
Česta zamka u znanosti jest pretjerano tumačenje podataka, osobito zbog pristranosti koja se javlja pri provjeri hipoteze. Astra je pokazala bolju sposobnost prepoznavanja granica onoga što podaci pokazuju i izbjegavanja neutemeljenih zaključaka.
U ovom je primjeru GPT‑5.6 Sol klasificirao stanice kao mrtve na temelju signala bojila za otkrivanje mrtvih stanica. No detektor je mogao zabilježiti i svjetlost drugog bojila, pa sama svjetlina nije bila dovoljna za takav zaključak. Astra je prepoznala tu dvosmislenost i zatražila bolje kontrolne uzorke kako bi se signali mogli razdvojiti.
Svijetlo polje · prolazna svjetlost
Kanal 2 · označeno bojilom SYTOX · 470–540 nm
Kanal 3 · FUN-1 zeleno · 525–580 nm
Ista stanična područja u trima kanalima; rasponi detekcije preklapaju se na 525–540 nm. Zajednički raspon omogućuje interferenciju, ali njezina veličina nije izmjerena. Svaki je kanal prikazan zasebnom linearnom ljestvicom intenziteta, jednakom za oba područja; svjetlina se ne može kvantitativno uspoređivati između kanala.
Znanstveno istraživanje izrazito je multimodalno te zahtijeva stalno tumačenje vizualnih podataka i donošenje odluka. Astra je pokazala znatno poboljšanje u obradi multimodalnih podataka dostavljenih u obliku fotografija i videozapisa te sirovih rezultata sekvenciranja, analiza na čitaču mikrotitarskih ploča, mikroskopije i protočne citometrije.
Na najosnovnijoj razini to se poboljšanje očitovalo u sposobnosti modela GPT‑6 Astra da uoči sitnije pojedinosti na slikama snimljenima tijekom pokusa i tako donese točnije zaključke, kao u ovom primjeru. U tom su zadatku agenti trebali donijeti zaključke iz pokusa kloniranja DNA, u kojem su kontrolni uzorci ključni. GPT‑5.6 Sol nije uočio kolonije na negativnoj kontrolnoj ploči te je svoje zaključke temeljio na tom opažanju. GPT‑6 Astra uočila je da je ploča označena pogrešnim antibiotikom i ispravno je odbacila kao nepouzdanu kontrolu.
Izvorna fotografija
Oznaka na rubu
Izvorna fotografija iz evaluacijskog skupa, sa zaokruženom i uvećanom oznakom na rubu. „LB Kan50” označava kanamicin, antibiotik različit od ampicilina upotrijebljenog u pokusu.
Znanstvenici pri analizi podataka moraju imati na umu prešutno biološko znanje i kontekst pokusa kako bi ispravno protumačili što podaci pokazuju. Astra je pokazala bolju sposobnost zadržavanja tog konteksta i njegove primjene tijekom cijele analize.
Jedan je zadatak prikazivao stanice koje ulaze u fokus i izlaze iz njega na nizu mikroskopskih slika. Dok je GPT‑5.6 Sol tražio biološko objašnjenje za prividni nestanak stanica, GPT‑6 Astra ispravno je prepoznala niz slika po osi z: slike snimljene na različitim dubinama.
0 s
3 s
6 s
9 s
12 s
15 s
Šest kadrova iz izvorne snimke. Isprekidani okviri označavaju isti položaj dok mikroskop skenira po dubini. Vremena se odnose na položaj reprodukcije u priloženom videozapisu.
Viši rezultati na evaluacijskom skupu još ne znače da modeli mogu donositi pouzdane procjene u laboratoriju. Ovi primjeri Astre pokazuju kako pretpostavke, očekivani odgovori i priložene oznake mogu prevagnuti nad dokazima te kako točno opažanje tijekom analize ne mora usmjeriti konačnu odluku.
Astra daje prednost poznatoj pretpostavci pred tumačenjem koje podupiru kontrolni uzorci pokusa. Može razlikovati dvije skupine pruga iz uzoraka kolonija, ali pretpostavlja da bi veći PCR produkt upućivao na uspješno kloniranje. Na temelju te pretpostavke predlaže staze 4, 6, 7 i 8; usporedba s kontrolnim uzorcima u referentnom odgovoru, međutim, izdvaja staze 5, 9 i 10.
Referentni odgovor odabire kolonije 5, 9 i 10; Astra predlaže 4, 6, 7 i 8.
1: marker · 2: smjesa za kloniranje · 3: izvorni plazmid · 4–10: uzorci kolonija
Tumačenje kontrolnih uzoraka
Staza 3 sadrži samo PCR produkt izvornog plazmida. Njegova pruga daje referentni položaj starog plazmida.
Prema referentnom tumačenju, staza 2 sadrži oba obrasca: zbog nepotpunog sastavljanja uz novi produkt ostaje i stari kalup odnosno okosnica.
Nastale kolonije mogu nositi stari ili novi plazmid. Usporedite njihove pruge s tim referentnim obrascima.
Referentni odabir: 5, 9 i 10
Astrin odabir: 4, 6, 7 i 8. Astra predlaže tu skupinu uz pretpostavku da veći PCR produkt predstavlja željeni konstrukt.
Vizualno grupiranje je točno, ali identiteti pripisani tim skupinama u kontekstu pokusa obrnuti su u odnosu na referentni odgovor. Astra stoga na temelju rezultata PCR-a na kolonijama odabire pogrešne kolonije, što bi dovelo do pročišćavanja pogrešnog plazmida u sljedećem koraku.
Astra zanemaruje opažanja koja proturječe tumačenju kojem daje prednost. Zaključuje da su vakuole, odjeljci unutar stanica, uglavnom tamnije od okolnog dijela stanice, iako neke na istoj slici izgledaju svjetlije. Oba su izgleda važna: promjena fokusa mikroskopa može preokrenuti kontrast, pa tamniji primjeri ne potvrđuju opće pravilo.
Tamniji izgled
Svjetliji izgled
Astrina generalizacija o tamnijim vakuolama zanemaruje svjetlije vakuole vidljive u istom vidnom polju.
Što taj odgovor propušta
Neke stanice imaju obrnut kontrast. Oba se izgleda pojavljuju jer različite dubine fokusa mogu preokrenuti kontrast.
Astra pregledava nekoliko područja i čak napominje da se kontrast mijenja s fokusom. Zatim daje veću težinu stanicama za koje smatra da su bolje fokusirane te u konačnom odgovoru zadržava samo opis njihovih tamnijih vakuola. Svjetlija područja koja proturječe tom tumačenju pregledana su, ali nisu uzeta u obzir pri donošenju zaključka.
Astrine oznake za brojanje ne odgovaraju pouzdano pojedinačnim kolonijama: ne razlikuje bliske susjedne kolonije, propušta vidljive kolonije i označava agar bez rasta. Konačni je rezultat na toj ploči približno 12 % više izbrojenih kolonija u odnosu na referentni rezultat evaluacijskog skupa.
Izvorna slika
Astrine oznake za brojanje
Izvorna slika
Astrine oznake za brojanje
Izvorna slika
Astrine oznake za brojanje
A: jedna oznaka za brojanje između susjednih kolonija. B: dvije vidljive kolonije ostale su neoznačene. C: agar bez rasta ubrojen je kao kolonija. Crveni krugovi označavaju mjesta koja je Astra brojila. Crne strelice dodane su radi lakšeg snalaženja.
Netočan broj kolonija izravno utječe na procjene učinkovitosti unosa DNA u stanice. Uz nepromijenjen nasađeni volumen i razrjeđenje, previsok broj kolonija povećava tu procjenu u istom omjeru.
Za ubrzavanje bioloških istraživanja potrebno je točno obavljati svakodnevne zadatke. BioBasicsBench usmjerava poboljšanja upravo na taj rad: tumačenje sirovih eksperimentalnih podataka, provjeru kontrolnih uzoraka i prepoznavanje neutemeljenih zaključaka. Napredak u tim zadacima mogao bi pomoći znanstvenicima da manje vremena troše na otkrivanje i rješavanje problema, a više na odlučivanje o tome koje pokuse provesti sljedeće. Praćenje tih sposobnosti pomoći će nam i da razumijemo njihove implikacije za biološku sigurnost i biološku zaštitu.
