Mjerenje uspješnosti AI agenata u svakodnevnom laboratorijskom radu
Predstavljamo BioBasicsBench, test koji kroz 100 rutinskih laboratorijskih zadataka mjeri koliko uspješno AI agenti tumače sirove eksperimentalne podatke.
Naša misija je osigurati da opća umjetna inteligencija koristi cijelom čovječanstvu. U okviru te misije želimo pomoći naučnicima da ubrzaju biološka istraživanja — od razumijevanja bolesti do razvoja novih terapija. Da bi AI agenti mogli doprinijeti tome, moraju pouzdano tumačiti eksperimentalne dokaze s kojima naučnici svakodnevno rade u laboratorijima, gdje provode eksperimente s biološkim uzorcima. Svakodnevni rad u eksperimentalnom laboratoriju uključuje neuspjele eksperimente, dvosmislene slike i proturječna opažanja. Postojeći evaluacijski testovi zasnovani na grafikonima i slikama odabranim za naučne radove mogu zanemariti tu dvosmislenost i rješavanje problema koje ona zahtijeva. Zato predstavljamo BioBasicsBench, novi evaluacijski test razvijen s kompanijom Ligo, biotehnološkom kompanijom usmjerenom na dizajn enzima, kojim mjerimo koliko uspješno agenti obavljaju rutinske laboratorijske analize.
Kroz 100 zadataka test provjerava mogu li agenti tumačiti sirove eksperimentalne podatke, prepoznati greške i uočiti kada dokazi nisu dovoljni za zaključak. Važno je ispravno riješiti ove zadatke jer pogrešno tumačenje slike ili previđanje problema s kontrolama kojima se provjeravaju rezultati eksperimenta može navesti naučnike na pogrešan zaključak i trošenje vremena na eksperimente koji neće pomoći da odgovore na svoje pitanje.
Na postavci „xhigh“, koja omogućava više rezonovanja po zadatku, GPT‑6 Astra ostvarila je prosječno 66,7% mogućih bodova, u poređenju s 43,8% za GPT‑5.6 Sol. Rezultati pokazuju napredak u rutinskim laboratorijskim analizama, uz prostor za daljnja poboljšanja u tumačenju slika, provjeri kontrola i uzimanju u obzir konteksta eksperimenta.
BioBasicsBench koristi neobrađene eksperimentalne dokaze, od slika gelova i ploča s kolonijama do mikroskopskih snimaka i očitanja instrumenata.
BioBasicsBench sadrži 100 zadataka iz pet oblasti rutinskog eksperimentalnog laboratorijskog rada: proteinske metode, snimanje i citometrija, kvantifikacija i testovi, metode za nukleinske kiseline i molekularno kloniranje. Zadaci se kreću od jednostavnih zahtjeva, poput očitavanja molekularne mase uzorka DNK na gelu, do detaljne analize testova, ali svi obuhvataju rutinski rad koji bi naučnici u eksperimentalnim laboratorijima trebali pouzdano obavljati.
Naučnici su osmislili zadatke koristeći podatke iz vlastitih eksperimenata, a uz svako pitanje priloženi su kriteriji ocjenjivanja koje su napisali stručnjaci. Svaki zadatak prošao je internu recenziju naučnika iz kompanije Ligo koji nije njegov autor, vanjsku recenziju naučnika s doktoratom koji radi u eksperimentalnom laboratoriju te završnu internu recenziju.
Agenti daju strukturiran odgovor s traženim zaključkom, mjerenjem ili preporukom i, kada je potrebno, pratećim rezonovanjem. Odgovori dobijaju bodove prema pojedinačnim kriterijima ocjenjivanja, što omogućava testu da razlikuje tačan zaključak od djelimično tačne analize. Većina zadataka istovremeno testira nekoliko vještina, uključujući biološko znanje, tumačenje slika i drugih podataka, otkrivanje grešaka i razumijevanje protokola.
U koloni „Jedinstveni zadaci“ svaki se zadatak broji jednom. Kolone vještina prikazuju broj zadataka s oznakom svake vještine. Ove se kategorije preklapaju: jedan zadatak može se pojaviti u više kolona, pa se brojevi po vještinama ne trebaju zbrajati da bi se dobio ukupan broj zadataka. Boja označava oblast; intenzivnija nijansa označava veći udio zadataka iz te oblasti koji testiraju određenu vještinu.
Ulazni podaci zadržavaju oblike dokaza s kojima naučnici rade: slike gelova i blotova, fotografije ploča, serije mikroskopskih slika, očitanja sekvenciranja, podatke izvezene iz čitača mikrotitarskih ploča i videosnimke laboratorijskog rada. Jedan zadatak može uključivati više vrsta podataka. Referentni listovi, poput dijagrama molekularnih markera i plazmidnih mapa, pomažu u tumačenju eksperimentalnih dokaza.
Vrsta podataka | Zadaci | Šta obuhvata |
|---|---|---|
Gelovi i blotovi | 31 | Agarozni gelovi za DNK, SDS-PAGE gelovi, Western blotovi |
Protokoli, bilješke i specifikacije | 27 | Protokoli i standardne operativne procedure, laboratorijski dnevnici i zapisi o izvođenju eksperimenata, fotografije rukom pisanih bilješki, katalozi, specifikacije instrumenata, objavljene metode |
Tabele i podaci izvezeni iz instrumenata | 20 | Izvezeni podaci u formatima CSV i Excel, rasporedi staza i popisi uzoraka, datoteke sa sirovim podacima protočne citometrije (FCS) |
Fotografije radnih stolova, aparature i reagensa | 18 | Radni stolovi, aparature za gel-elektroforezu, epruvete s reagensima i kulturama, PCR ploča, stalci za epruvete, pH trakice, koncentrator, zamrzivač, radna platforma uređaja za rukovanje tečnostima |
Mikroskopija | 14 | Neobrađene slike svijetlog polja i fluorescentne slike, višekanalni skupovi slika, serije slika po z-osi, ubrzani snimci vremenskih serija |
Ekrani instrumenata i grafikoni | 13 | Fotografije ekrana protočnog citometra, mikroskopa, uređaja NanoDrop, čitača mikrotitarskih ploča i vage; izvezene standardne krivulje, hromatogrami i grafikoni |
Datoteke sekvenciranja | 12 | Sirove FASTQ datoteke s dugim očitanjima, FASTA sekvence, GenBank mape |
Videosnimci protokola | 7 | Zasijavanje razmazivanjem, inokulacija, serijsko razrjeđivanje, postavljanje SDS-PAGE komore i inkubatora, vaganje na vagi |
Agarne ploče i kolonije | 7 | Ploče za transformaciju, plavo-bijela selekcija, ploče s antibiotskim diskovima |
Referentni listovi | 21 | Dijagrami molekularnih markera, plazmidne mape, pH skale (pomoćni materijal) |
Broj zadataka koji uključuju pojedinu vrstu podataka. Kategorije se preklapaju; referentni listovi služe kao pomoćni materijal.
Naučnici su napisali zadatke koristeći podatke iz vlastitih eksperimenata, povezujući eksperimentalne dokaze s pitanjem i rubrikom za ocjenjivanje koju su sastavili stručnjaci. Svaki zadatak prošao je internu recenziju naučnika iz kompanije Ligo koji nije njegov autor, vanjsku recenziju naučnika s doktoratom koji radi u eksperimentalnom laboratoriju te završnu internu recenziju. Recenzenti su provjeravali upit, eksperimentalne dokaze, rubriku za ocjenjivanje, bilješke autora i jedan ocijenjeni pokušaj modela.
Odgovori se boduju prema rubrici za ocjenjivanje zadatka, koja dodjeljuje bodove pojedinačnim kriterijima. Zavisno od zadatka, ti kriteriji ocjenjuju zaključak, brojčane rezultate, prateće rezonovanje ili prepoznavanje da dokazi nisu dovoljni.
Na testu BioBasicsBench evaluirali smo sedam modela: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna i GPT‑6 Astra. Evaluacija obuhvata 37 kombinacija modela i postavki intenziteta rezonovanja, s pet pokušaja za svaki od 100 zadataka po kombinaciji, što daje ukupno 18.500 rezultata.
Prikazujemo prosječnu nagradu: prosječan rezultat zadatka, izražen kao postotak mogućih bodova. Trake greške prikazuju 95% intervale pouzdanosti izračunate ponovnim uzorkovanjem cijelih zadataka, pri čemu se svih pet pokušaja za svaki zadatak zadržava zajedno.
Prosječna nagrada u odnosu na prosječan broj izlaznih tokena po zadatku, prikazan na logaritamskoj skali. Svaka tačka predstavlja testiranu postavku intenziteta rezonovanja; linije povezuju te postavke redom. Vrijednost na x-osi udvostručuje se na svakoj oznaci. Isprekidane narandžaste linije prikazuju modele GPT‑5, a pune plave linije modele GPT‑6. Blijede trake greške prikazuju 95% intervale pouzdanosti dobijene bootstrap ponovnim uzorkovanjem cijelih zadataka. Svaka postavka uključuje svih 100 zadataka i pet pokušaja po zadatku. Postavke intenziteta razlikuju se među modelima.
GPT‑6 Astra znatno nadmašuje GPT‑5.6 Sol, čak i pri niskom intenzitetu rezonovanja. Ova poboljšanja ukazuju na to da snažnije ugrađene multimodalne sposobnosti mogu biti ključne za bolje rezultate u svakodnevnim laboratorijskim analizama.
Rezultati pri intenzitetu rezonovanja xhigh
Model | Prosječna nagrada | 95% interval pouzdanosti | Izlazni tokeni / zadatak |
|---|---|---|---|
GPT‑6 Astra | 66,7% | 60,3–73,1% | 4.704 |
GPT‑6.1 Sol | 62,0% | 55,6–68,4% | 5.238 |
GPT‑5.6 Sol | 43,8% | 37,6–50,0% | 9.099 |
GPT‑6 Luna | 38,3% | 32,3–44,5% | 13.120 |
GPT‑5.5 | 35,4% | 29,7–41,0% | 11.135 |
GPT‑5.4 | 33,2% | 28,3–38,4% | 13.717 |
GPT‑5.2 | 31,2% | 26,2–36,3% | 27.620 |
Xhigh je najviša postavka intenziteta rezonovanja za koju su prikazani rezultati svih sedam modela. Svaki red uključuje svih 100 zadataka i pet pokušaja po zadatku. Rezultati za postavku Max, gdje su dostupni, uključeni su u gornji grafikon.
Česta zamka u nauci jeste izvođenje zaključaka koji nadilaze podatke, posebno s obzirom na prirodu pristrasnosti koja se javlja pri testiranju hipoteze. Astra je pokazala bolju sposobnost prepoznavanja granica onoga što podaci pokazuju i izbjegavanja neopravdanih zaključaka.
U ovom primjeru GPT‑5.6 Sol klasificirao je ćelije kao mrtve na osnovu signala boje koja se koristi za otkrivanje mrtvih ćelija. Međutim, detektor je mogao zabilježiti i svjetlost druge boje, pa sama svjetlina nije bila dovoljna za takav zaključak. Astra je prepoznala ovu dvosmislenost i ukazala na potrebu za boljim kontrolama kako bi se signali razdvojili.
Svijetlo polje · propuštena svjetlost
Kanal 2 · označeno bojom SYTOX · 470–540 nm
Kanal 3 · FUN-1 zeleno · 525–580 nm
Ista područja s ćelijama u tri kanala; rasponi detekcije preklapaju se na 525–540 nm. Zajednički raspon omogućava interferenciju, čiji intenzitet nije izmjeren. Svaki kanal prikazan je zasebnom linearnom skalom intenziteta, koja je ista za oba područja; svjetlina se ne može kvantitativno porediti između kanala.
Naučno istraživanje izrazito je multimodalno i zahtijeva stalno tumačenje vizuelnih podataka i donošenje odluka. Astra je pokazala znatno poboljšanje u obradi multimodalnih podataka dostavljenih u obliku fotografija i videosnimaka, kao i sirovih rezultata sekvenciranja, testova na čitaču mikrotitarskih ploča, mikroskopije i protočne citometrije.
Na najosnovnijem nivou, ovo poboljšanje bilo je vidljivo u sposobnosti modela GPT‑6 Astra da uoči sitnije detalje na slikama snimljenim tokom eksperimenata i tako izvede tačnije zaključke, kao što pokazuje ovaj primjer. U ovom zadatku od agenata se tražilo da izvedu zaključke iz eksperimenta kloniranja DNK, u kojem su kontrole neophodne. GPT‑5.6 Sol nije uočio kolonije na negativnoj kontrolnoj ploči i na tom je opažanju zasnovao svoje zaključke. GPT‑6 Astra primijetila je da je na ploči označen pogrešan antibiotik i ispravno je odbacila kao nepouzdanu kontrolu.
Izvorna fotografija
Oznaka na rubu
Izvorna fotografija iz evaluacijskog testa, sa zaokruženom i uvećanom oznakom na rubu. Oznaka „LB Kan50“ upućuje na kanamicin, antibiotik različit od ampicilina korištenog u eksperimentu.
Da bi ispravno protumačili podatke, naučnici tokom analize moraju imati na umu prešutno biološko znanje i kontekst eksperimenta. Astra je pokazala bolju sposobnost zadržavanja tog konteksta i njegove primjene tokom cijele analize.
Jedan zadatak prikazivao je ćelije koje na nizu mikroskopskih slika ulaze u fokus i izlaze iz njega. Dok je GPT‑5.6 Sol tražio biološko objašnjenje za prividno nestajanje ćelija, GPT‑6 Astra ispravno je prepoznala seriju slika po z-osi: niz slika snimljenih na različitim dubinama.
0 s
3 s
6 s
9 s
12 s
15 s
Šest kadrova iz izvornog snimka. Isprekidani okviri označavaju isti položaj dok mikroskop skenira po dubini. Vremenske oznake odnose se na položaj reprodukcije u dostavljenom videosnimku.
Bolji rezultati na evaluacijskim testovima još ne znače da modeli mogu pouzdano prosuđivati u laboratoriju. Ovi primjeri Astre pokazuju kako pretpostavke, očekivani odgovori i dostavljene oznake mogu prevagnuti nad dokazima te kako tačno opažanje tokom analize ne mora usmjeriti konačnu odluku.
Astra dopušta da poznata pretpostavka prevagne nad tumačenjem koje podržavaju eksperimentalne kontrole. Može razlikovati dvije grupe vrpci iz uzoraka kolonija, ali pretpostavlja da bi veći PCR proizvod ukazivao na uspješno kloniranje. Na osnovu te pretpostavke predlaže staze 4, 6, 7 i 8; poređenje s kontrolama u referentnom odgovoru, međutim, upućuje na staze 5, 9 i 10.
Referentni odgovor odabire kolonije 5, 9 i 10; Astra predlaže 4, 6, 7 i 8.
1: marker · 2: smjesa za kloniranje · 3: izvorni plazmid · 4–10: uzorci kolonija
Tumačenje kontrola
Staza 3 sadrži samo PCR proizvod izvornog plazmida. Njegova vrpca daje referentni položaj starog plazmida.
Prema referentnom tumačenju, staza 2 sadrži oba obrasca: zbog nepotpunog sklapanja uz novi proizvod ostaje i stari kalup ili plazmidna okosnica.
Nastale kolonije mogu nositi stari ili novi plazmid. Uporedite njihove vrpce s ovim referentnim obrascima.
Referentni odabir: 5, 9 i 10
Astrin odabir: 4, 6, 7 i 8. Astra predlaže ovu grupu uz pretpostavku da veći PCR proizvod predstavlja željeni konstrukt.
Vizuelno grupiranje je tačno, ali su eksperimentalni identiteti pripisani tim grupama zamijenjeni u odnosu na referentni odgovor. Astra zato na osnovu rezultata PCR-a kolonija odabire pogrešne kolonije, što bi dovelo do pročišćavanja pogrešnog plazmida u narednom koraku.
Astra zanemaruje opažanja koja proturječe tumačenju kojem daje prednost. Zaključuje da su vakuole, odjeljci unutar ćelija, uglavnom tamnije od ostatka ćelije, iako neke na istoj slici izgledaju svjetlije. Oba izgleda su važna: promjena fokusa mikroskopa može obrnuti kontrast, pa tamniji primjeri ne potvrđuju opće pravilo.
Tamniji izgled
Svjetliji izgled
Astrin opći zaključak o tamnijim vakuolama zanemaruje svjetlije vakuole vidljive u istom vidnom polju.
Šta taj odgovor zanemaruje
Neke ćelije imaju obrnut kontrast. Oba izgleda nastaju zato što različite dubine fokusa mogu obrnuti kontrast.
Astra pregledava nekoliko područja i čak napominje da se kontrast mijenja s fokusom. Zatim daje veću važnost ćelijama za koje kaže da su bolje fokusirane i u konačnom odgovoru zadržava samo opis njihovih tamnijih vakuola. Svjetlija područja koja proturječe tom opisu jesu pregledana, ali nisu uzeta u obzir u zaključku.
Astrine oznake za brojanje ne odgovaraju pouzdano pojedinačnim kolonijama: ne razlikuje bliske susjede, propušta vidljive kolonije i označava prazan agar. Konačni rezultat na ovoj ploči jeste približno 12% više prebrojanih kolonija u odnosu na referentnu vrijednost evaluacijskog testa.
Izvorna slika
Astrine oznake za brojanje
Izvorna slika
Astrine oznake za brojanje
Izvorna slika
Astrine oznake za brojanje
A: jedna oznaka za brojanje između susjednih kolonija. B: dvije vidljive kolonije ostale su neoznačene. C: prazan agar prebrojan kao kolonija. Crveni krugovi označavaju položaje koje je Astra brojala. Crne strelice dodane su urednički radi lakšeg praćenja.
Netačan broj kolonija direktno utiče na procjenu efikasnosti unošenja DNK u ćelije. Ako su zasijani volumen i razrjeđenje nepromijenjeni, precijenjen broj kolonija uvećava tu procjenu za isti postotak.
Ubrzavanje bioloških istraživanja zahtijeva ispravno obavljanje svakodnevnog rada. BioBasicsBench postavlja taj rad kao cilj unapređenja: tumačenje sirovih eksperimentalnih podataka, provjeru kontrola i prepoznavanje kada zaključak nije potkrijepljen dokazima. Napredak u ovim zadacima mogao bi pomoći naučnicima da manje vremena troše na rješavanje problema, a više na odlučivanje o tome koje eksperimente dalje provoditi. Praćenje ovih sposobnosti pomoći će nam i da razumijemo njihove implikacije za biološku sigurnost i zaštitu od bioloških prijetnji.
