Merjenje uspešnosti agentov UI pri vsakodnevnem delu v mokrem laboratoriju
Predstavljamo BioBasicsBench, primerjalni preizkus, ki s 100 rutinskimi nalogami iz mokrega laboratorija meri, kako dobro agenti UI razlagajo surove eksperimentalne podatke.
Naše poslanstvo je zagotoviti, da splošna umetna inteligenca koristi vsemu človeštvu. V okviru tega poslanstva želimo znanstvenikom pomagati pospešiti biološke raziskave – od razumevanja bolezni do razvoja novih načinov zdravljenja. Da bi lahko agenti UI pri tem prispevali, morajo zanesljivo razlagati eksperimentalne dokaze, s katerimi znanstveniki vsak dan delajo v mokrih laboratorijih, kjer izvajajo poskuse z biološkimi vzorci. Vsakodnevno delo v mokrem laboratoriju vključuje neuspele poskuse, dvoumne slike in nasprotujoča si opažanja. Obstoječi primerjalni preizkusi temeljijo na grafih in slikah, izbranih za znanstvene članke, zato lahko spregledajo to dvoumnost in odpravljanje težav, ki ga ta zahteva. Zato predstavljamo BioBasicsBench, nov primerjalni preizkus, razvit z družbo Ligo, biotehnološkim podjetjem, usmerjenim v načrtovanje encimov. Z njim merimo, kako dobro agenti obvladujejo rutinske analize v mokrem laboratoriju.
Preizkus s 100 nalogami preverja, ali agenti znajo razlagati neobdelane eksperimentalne podatke, prepoznati napake in ugotoviti, kdaj dokazi ne zadoščajo za sklep. Pravilno reševanje teh nalog je pomembno, saj lahko napačna razlaga slike ali spregledana težava s kontrolami za preverjanje rezultatov poskusa privede do napačnih sklepov znanstvenikov in porabe časa za poskuse, ki ne bodo pomagali odgovoriti na njihovo vprašanje.
Pri nastavitvi »xhigh«, ki omogoča več sklepanja na nalogo, je GPT‑6 Astra v povprečju dosegla 66,7 % možnih točk, GPT‑5.6 Sol pa 43,8 %. Rezultati kažejo napredek pri rutinskih laboratorijskih analizah, pri čemer ostaja prostor za izboljšave pri razlagi slik, preverjanju kontrol in upoštevanju konteksta poskusa.
BioBasicsBench uporablja neobdelane eksperimentalne dokaze, od slik gelov in plošč s kolonijami do mikroskopskih posnetkov in odčitkov instrumentov.
BioBasicsBench obsega 100 nalog s petih področij rutinskega dela v mokrem laboratoriju: proteinske metode, slikanje in citometrija, kvantifikacija in testi, metode za nukleinske kisline ter molekulsko kloniranje. Naloge segajo od preprostih zahtev, kot je odčitavanje molekulske mase vzorca DNA na gelu, do podrobne analize testov. Vse pa vključujejo rutinsko delo, ki bi ga morali znanstveniki v mokrem laboratoriju znati zanesljivo opraviti.
Znanstveniki so naloge ustvarili s podatki iz lastnih poskusov in vsako vprašanje povezali z merili ocenjevanja, ki so jih pripravili strokovnjaki. Vsako nalogo je najprej interno pregledal znanstvenik družbe Ligo, ki ni bil njen avtor, nato jo je zunanje pregledal znanstvenik z doktoratom, ki dela v mokrem laboratoriju, sledil pa je še končni interni pregled.
Agenti vrnejo strukturiran odgovor z zahtevanim sklepom, meritvijo ali priporočilom in po potrebi tudi s sklepanjem, ki ga utemeljuje. Odgovori dobijo točke glede na posamezna merila ocenjevalne sheme, kar preizkusu omogoča razlikovanje med pravilnim sklepom in delno pravilno analizo. Večina nalog hkrati preverja več spretnosti, med drugim biološko znanje, razlago slik in drugih podatkov, odkrivanje napak ter razumevanje protokolov.
Stolpec »Edinstvene naloge« šteje vsako nalogo enkrat. Stolpci spretnosti štejejo naloge z oznako posamezne spretnosti. Te kategorije se prekrivajo: ena naloga se lahko pojavi v več stolpcih, zato števil po spretnostih ne smemo seštevati za izračun skupnega števila nalog. Barva označuje področje; intenzivnejša obarvanost pomeni večji delež nalog s tega področja, ki preverjajo določeno spretnost.
Vhodni podatki ohranjajo oblike dokazov, s katerimi delajo znanstveniki: slike gelov in prenosov, fotografije plošč, sklade mikroskopskih slik, sekvenčne odčitke, izvoze iz čitalnikov mikrotitrskih plošč in videoposnetke dela za laboratorijskim pultom. Naloga lahko vključuje več vrst podatkov. Referenčni listi, kot so sheme velikostnih lestvic in zemljevidi plazmidov, pomagajo pri razlagi eksperimentalnih dokazov.
Vrsta podatkov | Naloge | Kaj vključuje |
|---|---|---|
Geli in prenosi | 31 | Agarozni geli z DNA, geli SDS-PAGE, Western bloti |
Protokoli, zapiski in specifikacije | 27 | Protokoli in standardni operativni postopki, laboratorijski dnevniki in zapisi o izvedbah, fotografirani ročni zapiski, katalogi, specifikacije instrumentov, objavljene metode |
Tabele in izvozi iz instrumentov | 20 | Izvozi CSV in Excel, razporeditve vzorcev po stezah in evidence zalog, neobdelane datoteke pretočne citometrije (FCS) |
Fotografije laboratorijskih pultov, naprav in reagentov | 18 | Laboratorijski pulti, naprave za gelsko elektroforezo, epruvete z reagenti in kulturami, plošča za PCR, stojala za epruvete, pH-lističi, koncentrator, zamrzovalnik, delovna površina naprave za ravnanje s tekočinami |
Mikroskopija | 14 | Neobdelane slike v svetlem polju in fluorescenčne slike, večkanalni nabori, skladi slik po osi z, časovni posnetki |
Zasloni instrumentov in grafi | 13 | Fotografije zaslonov pretočnega citometra, mikroskopa, instrumenta NanoDrop, čitalnika mikrotitrskih plošč in tehtnice; izvožene umeritvene krivulje, kromatogrami in grafi |
Datoteke sekvenciranja | 12 | Neobdelane datoteke FASTQ z dolgimi odčitki, zaporedja FASTA, zemljevidi GenBank |
Videoposnetki protokolov | 7 | Razmazovanje, inokulacija, serijsko redčenje, priprava kadi za SDS-PAGE in inkubatorja, tehtanje na tehtnici |
Agarne plošče in kolonije | 7 | Plošče s transformiranimi bakterijami, modro-belo presejanje, plošče z antibiotičnimi diski |
Referenčni listi | 21 | Sheme velikostnih lestvic, zemljevidi plazmidov, pH-lestvice (podporno gradivo) |
Število nalog, ki vključujejo posamezno vrsto podatkov. Kategorije se prekrivajo; referenčni listi so podporno gradivo.
Znanstveniki so naloge napisali s podatki iz lastnih poskusov ter eksperimentalne dokaze povezali z vprašanjem in ocenjevalno shemo, ki so jo pripravili strokovnjaki. Vsako nalogo je najprej interno pregledal znanstvenik družbe Ligo, ki ni bil njen avtor, nato jo je zunanje pregledal znanstvenik z doktoratom, ki dela v mokrem laboratoriju, sledil pa je še končni interni pregled. Pregledovalci so preverili poziv, eksperimentalne dokaze, ocenjevalno shemo, avtorjeve opombe in ocenjen poskus modela.
Odgovori se ocenjujejo po ocenjevalni shemi naloge, ki dodeljuje točke za posamezna merila. Ta merila glede na nalogo ocenjujejo sklep, številčne rezultate, sklepanje v podporo odgovoru ali prepoznavanje nezadostnih dokazov.
Pri preizkusu BioBasicsBench smo ovrednotili sedem modelov: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna in GPT‑6 Astra. Vrednotenje zajema 37 kombinacij modelov in ravni sklepanja, s petimi poskusi pri vsaki od 100 nalog za vsako kombinacijo, kar skupaj pomeni 18 500 rezultatov.
Poročamo o povprečni nagradi: povprečni oceni naloge, izraženi kot odstotek možnih točk. Intervali napak prikazujejo 95-odstotne intervale zaupanja, izračunane s ponovnim vzorčenjem celotnih nalog, pri čemer pet poskusov za vsako nalogo ostane skupaj.
Povprečna nagrada glede na povprečno število izhodnih žetonov na nalogo, prikazano na logaritemski lestvici. Vsaka točka predstavlja preizkušeno raven sklepanja; črte te nastavitve povezujejo po vrsti. Vrednosti na osi x se pri vsaki oznaki podvojijo. Črtkane oranžne črte prikazujejo modele GPT‑5, polne modre črte pa modele GPT‑6. Tanke črtice prikazujejo 95-odstotne intervale zaupanja, izračunane z metodo bootstrap na celotnih nalogah. Vsaka nastavitev vključuje vseh 100 nalog in pet poskusov na nalogo. Ravni sklepanja se med modeli razlikujejo.
GPT‑6 Astra bistveno presega GPT‑5.6 Sol, tudi pri nizki ravni sklepanja. Ti dosežki nakazujejo, da so boljše izvorne multimodalne zmogljivosti morda ključne za izboljšanje uspešnosti pri vsakodnevnih analizah v mokrem laboratoriju.
Uspešnost pri ravni sklepanja xhigh
Model | Povprečna nagrada | 95-odstotni interval zaupanja | Izhodni žetoni/naloga |
|---|---|---|---|
GPT‑6 Astra | 66,7 % | 60,3–73,1 % | 4 704 |
GPT‑6.1 Sol | 62,0 % | 55,6–68,4 % | 5 238 |
GPT‑5.6 Sol | 43,8 % | 37,6–50,0 % | 9 099 |
GPT‑6 Luna | 38,3 % | 32,3–44,5 % | 13 120 |
GPT‑5.5 | 35,4 % | 29,7–41,0 % | 11 135 |
GPT‑5.4 | 33,2 % | 28,3–38,4 % | 13 717 |
GPT‑5.2 | 31,2 % | 26,2–36,3 % | 27 620 |
Xhigh je najvišja raven sklepanja, za katero so navedeni rezultati vseh sedmih modelov. Vsaka vrstica vključuje vseh 100 nalog in pet poskusov na nalogo. Rezultati pri nastavitvi »Najvišje« so, kjer so na voljo, vključeni v zgornji graf.
Pogosta past v znanosti je pretirano razlaganje podatkov, zlasti zaradi narave pristranskosti, ki se pojavi pri preverjanju hipotez. Astra je pokazala boljšo sposobnost prepoznavanja meja tega, kar podatki razkrivajo, in izogibanja neutemeljenim sklepom.
V tem primeru je GPT‑5.6 Sol celice razvrstil kot mrtve na podlagi signala barvila za zaznavanje mrtvih celic. Vendar bi detektor lahko zaznal tudi svetlobo drugega barvila, zato sama svetlost ni zadoščala za tak sklep. Astra je prepoznala to dvoumnost in opozorila na potrebo po boljših kontrolah za ločevanje signalov.
Svetlo polje · presevna svetloba
Kanal 2 · označeno s SYTOX · 470–540 nm
Kanal 3 · zelena fluorescenca FUN-1 · 525–580 nm
Isti območji celic v treh kanalih; detekcijska območja se prekrivajo pri 525–540 nm. Skupno območje omogoča interferenco, katere obseg ni bil izmerjen. Vsak kanal je prikazan z ločeno linearno lestvico intenzitete, ki je enaka za obe območji; svetlosti med kanali ni mogoče kvantitativno primerjati.
Znanstveno raziskovanje je izrazito multimodalno ter zahteva nenehno razlaganje vizualnih podatkov in sprejemanje odločitev. Astra je pokazala občuten napredek pri obdelavi multimodalnih podatkov v obliki fotografij in videoposnetkov ter surovih rezultatov sekvenciranja, analiz s čitalnikom mikrotitrskih plošč, mikroskopije in pretočne citometrije.
Na najosnovnejši ravni se je ta napredek pokazal v sposobnosti modela GPT‑6 Astra, da na slikah, posnetih med poskusi, opazi drobnejše podrobnosti in zato oblikuje natančnejše sklepe, kot kaže ta primer. Pri tej nalogi so morali agenti oblikovati sklepe na podlagi poskusa kloniranja DNA, pri katerem so kontrole ključne. GPT‑5.6 Sol na negativni kontrolni plošči ni opazil kolonij in je svoje sklepe utemeljil na tem opažanju. GPT‑6 Astra je opazila, da je na plošči označen napačen antibiotik, in jo pravilno zavrnila kot nezanesljivo kontrolo.
Izvirna fotografija
Oznaka na robu
Izvirna fotografija iz primerjalnega preizkusa z obkroženo in povečano oznako na robu. »LB Kan50« označuje kanamicin, antibiotik, ki se razlikuje od ampicilina, uporabljenega v poskusu.
Znanstveniki morajo med analizo podatkov upoštevati tiho biološko znanje in kontekst poskusa, da lahko pravilno razložijo, kaj podatki kažejo. Astra je pokazala boljšo sposobnost ohranjanja tega konteksta in njegove uporabe skozi celotno analizo.
Ena od nalog je prikazovala niz mikroskopskih slik, na katerih so bile celice izmenično izostrene in neizostrene. Medtem ko je GPT‑5.6 Sol iskal biološko razlago za navidezno izginotje celic, je GPT‑6 Astra pravilno prepoznala sklad slik vdolž osi z: niz slik, posnetih na različnih globinah.
0 s
3 s
6 s
9 s
12 s
15 s
Šest sličic iz izvirnega posnetka. Črtkani okvirji označujejo isto mesto med mikroskopskim skeniranjem po globini. Časi se nanašajo na mesto predvajanja v priloženem videoposnetku.
Višje ocene na primerjalnem preizkusu še ne pomenijo, da lahko modeli v laboratoriju zanesljivo presojajo. Ti primeri modela Astra kažejo, kako lahko domneve, pričakovani odgovori in podane oznake prevladajo nad dokazi ter kako pravilno vmesno opažanje ne vpliva na končno odločitev.
Astra dopusti, da znana domneva prevlada nad razlago, ki jo podpirajo eksperimentalne kontrole. Razlikuje med dvema skupinama lis iz kolonij, vendar predpostavi, da bi večji produkt PCR pomenil uspešno kloniranje. Na tej predpostavki predlaga steze 4, 6, 7 in 8; primerjava s kontrolami v referenčni rešitvi pa izbere steze 5, 9 in 10.
Referenčna rešitev izbere kolonije 5, 9 in 10; Astra predlaga 4, 6, 7 in 8.
1: marker · 2: klonirna mešanica · 3: izvirni plazmid · 4–10: vzorci kolonij
Razlaga kontrol
Steza 3 vsebuje le produkt PCR izvirnega plazmida. Njegova lisa določa referenčni položaj starega plazmida.
V referenčni razlagi steza 2 vsebuje oba vzorca lis: zaradi nepopolnega sestavljanja ob novem produktu ostane tudi stara matrica oziroma ogrodje.
Nastale kolonije lahko vsebujejo stari ali novi plazmid. Njihove lise primerjajte s tema referenčnima vzorcema.
Referenčni izbor: 5, 9 in 10
Astrin izbor: 4, 6, 7 in 8. Astra predlaga to skupino z razlago, da večji produkt PCR predstavlja želeni konstrukt.
Vizualno razvrščanje v skupini je pravilno, vendar sta jima glede na referenčno rešitev pripisani zamenjani eksperimentalni identiteti. Astra zato na podlagi rezultatov PCR iz kolonij izbere napačne kolonije, kar bi pri nadaljnjem delu privedlo do čiščenja napačnega plazmida.
Astra zanemari opažanja, ki nasprotujejo njeni izbrani razlagi. Sklepa, da so vakuole, razdelki znotraj celic, praviloma temnejše od okoliškega dela celice, čeprav so nekatere na isti sliki videti svetlejše. Pomembna sta oba videza: sprememba izostritve mikroskopa lahko obrne kontrast, zato temnejši primeri ne dokazujejo splošnega pravila.
Temnejši videz
Svetlejši videz
Astrina posplošitev o temnejših vakuolah ne upošteva svetlejših vakuol, vidnih v istem vidnem polju.
Kaj ta odgovor spregleda
Nekatere celice imajo obraten kontrast. Oba videza se pojavljata zato, ker se lahko pri različnih goriščnih globinah kontrast obrne.
Astra pregleda več območij in celo pripomni, da se kontrast spreminja z izostritvijo. Nato pripiše večjo težo celicam, ki jih označi za bolje izostrene, in v končnem odgovoru ohrani le opis njihovih temnejših vakuol. Svetlejša območja, ki temu nasprotujejo, so bila pregledana, vendar jih sklep ne upošteva.
Oznake za štetje modela Astra ne ustrezajo zanesljivo posameznim kolonijam: model ne loči tesno skupaj ležečih kolonij, spregleda vidne kolonije in označuje agar brez kolonij. Končni seštevek na tej plošči je približno 12 % previsok glede na referenčno vrednost primerjalnega preizkusa.
Izvirna slika
Oznake za štetje modela Astra
Izvirna slika
Oznake za štetje modela Astra
Izvirna slika
Oznake za štetje modela Astra
A: ena oznaka za štetje med sosednjima kolonijama. B: dve vidni koloniji ostaneta neoznačeni. C: prazen agar je štet kot kolonija. Rdeči krogi prikazujejo mesta, ki jih je Astra štela. Črne puščice so uredniške oznake.
Netočno število kolonij neposredno vpliva na ocene učinkovitosti vnosa DNK v celice. Če sta volumen nanosa na ploščo in redčenje nespremenjena, previsok seštevek to oceno poveča za enak delež.
Za pospešitev bioloških raziskav je treba vsakodnevno delo opraviti pravilno. BioBasicsBench to delo postavlja v središče izboljšav: razlago surovih eksperimentalnih podatkov, preverjanje kontrol in prepoznavanje neutemeljenih sklepov. Napredek pri teh nalogah bi lahko znanstvenikom pomagal porabiti manj časa za odpravljanje težav in več za odločanje, katere poskuse izvesti v nadaljevanju. Spremljanje teh zmogljivosti nam bo pomagalo razumeti tudi njihove posledice za biološko varnost in biološko zaščito.
