Mõõdame AI-agentide toimetulekut igapäevase märglaboritööga
Tutvustame BioBasicsBenchi – võrdlustesti, mis mõõdab AI-agentide oskust tõlgendada katsete toorandmeid 100 tavapärases märglabori ülesandes.
Meie missioon on tagada, et üldine tehisintellekt tooks kasu kogu inimkonnale. Selle missiooni osana soovime aidata teadlastel bioloogiauuringuid kiirendada – haiguste mõistmisest uute raviviiside väljatöötamiseni. Et AI-agendid saaksid sellesse panustada, peavad nad usaldusväärselt tõlgendama katseandmeid, millega teadlased iga päev märglaborites töötavad, tehes katseid bioloogiliste proovidega. Igapäevase märglaboritöö juurde kuuluvad ebaõnnestunud katsed, mitmeti tõlgendatavad pildid ja vastuolulised tähelepanekud. Olemasolevad võrdlustestid põhinevad teadusartiklitesse valitud graafikutel ja piltidel ning võivad jätta kõrvale nii selle mitmetähenduslikkuse kui ka sellest tuleneva vajaduse tõrkeotsinguks. Seepärast tutvustame BioBasicsBenchi – uut võrdlustesti, mille töötasime välja koos ensüümide disainile keskendunud biotehnoloogiaettevõttega Ligo, et mõõta, kui hästi tulevad agendid toime tavapärase märglabori analüüsiga.
Võrdlustesti 100 ülesannet kontrollivad, kas agendid suudavad tõlgendada katsete toorandmeid, tuvastada vigu ja märgata, kui andmed ei võimalda järeldust teha. Nende ülesannete õige lahendamine on oluline: pildi vääriti tõlgendamine või katsetulemuste kontrollimiseks kasutatud kontrollide puuduste märkamata jätmine võib viia teadlased vale järelduseni ja panna neid kulutama aega katsetele, mis ei aita nende küsimusele vastata.
Sättel „xhigh“, mis võimaldab iga ülesande puhul rohkem arutleda, sai GPT‑6 Astra keskmiselt 66,7% võimalikest punktidest, GPT‑5.6 Sol aga 43,8%. Tulemused näitavad edusamme tavapärases laborianalüüsis, kuid piltide tõlgendamises, kontrollide kontrollimises ja katse konteksti arvestamises on veel arenguruumi.
BioBasicsBench kasutab katsete toorandmeid, alates geelipiltidest ja kolooniatega tassidest kuni mikroskoopiapiltide ja seadmete näitudeni.
BioBasicsBench sisaldab 100 ülesannet viiest tavapärase märglaboritöö valdkonnast: valgumeetodid, pildistamine ja tsütomeetria, kvantifitseerimine ja analüüsid, nukleiinhappemeetodid ning molekulaarne kloonimine. Ülesanded ulatuvad lihtsatest päringutest, näiteks DNA-proovi molekulmassi määramisest geeli põhjal, kuni üksikasjaliku katseanalüüsini, kuid kõik puudutavad tavapärast tööd, millega märglabori teadlased peaksid usaldusväärselt toime tulema.
Teadlased koostasid ülesanded oma katsete andmete põhjal ning lisasid igale küsimusele ekspertide koostatud hindamiskriteeriumid. Iga ülesande vaatas kõigepealt ettevõttesiseselt üle Ligo teadlane, kes polnud selle autor, seejärel ettevõtteväliselt märglaboris töötav doktorikraadiga teadlane ning lõpuks tehti veel üks sisemine ülevaatus.
Agendid annavad struktureeritud vastuse, mis sisaldab nõutud järeldust, mõõtetulemust või soovitust ning vajaduse korral seda toetavat arutlust. Vastustele antakse punkte hindamisjuhendi üksikkriteeriumide alusel, mis võimaldab võrdlustestil eristada õiget järeldust osaliselt õigest analüüsist. Enamik ülesandeid testib korraga mitut oskust, sealhulgas bioloogiateadmisi, piltide ja muude andmete tõlgendamist, vigade tuvastamist ning protokollide mõistmist.
Veerus „Eri ülesanded“ loetakse iga ülesannet üks kord. Oskuste veergudes loetakse vastava oskuse sildiga ülesandeid. Need kategooriad kattuvad: üks ülesanne võib esineda mitmes veerus, seega ei tohiks oskuste arve ülesannete koguarvu saamiseks liita. Värv tähistab valdkonda; tugevam toon näitab, et suurem osa selle valdkonna ülesannetest testib vastavat oskust.
Sisendid säilitavad teadlaste kasutatavate katseandmete algse kuju: geeli- ja blotipildid, tasside fotod, mikroskoopia pildivirnad, sekveneerimislugemid, mikroplaadilugeja ekspordifailid ja laboritöö videod. Üks ülesanne võib sisaldada mitut liiki andmeid. Võrdluslehed, näiteks suurusmarkerite skeemid ja plasmiidikaardid, toetavad katseandmete tõlgendamist.
Andmeliik | Ülesanded | Mida see hõlmab |
|---|---|---|
Geelid ja blotid | 31 | DNA agaroosgeelid, SDS-PAGE-geelid, Western-blotid |
Protokollid, märkmed ja tehnilised andmed | 27 | Protokollid ja standardsed töökorrad (SOP-d), laboripäevikud ja katseprotokollid, fotod käsitsi tehtud märkmetest, kataloogid, seadmete tehnilised andmed, avaldatud meetodid |
Tabelid ja seadmetest eksporditud andmed | 20 | CSV- ja Exceli ekspordifailid, geeliradade paigutused ja inventarinimekirjad, voolutsütomeetria toorandmete failid (FCS) |
Fotod töölaudadest, seadmetest ja reaktiividest | 18 | Töölauad, geelelektroforeesiseadmed, reaktiivi- ja kultuurikatsutid, PCR-plaat, katsutistatiivid, pH-ribad, kontsentraator, sügavkülmik, vedelikukäitlusroboti tööplatvorm |
Mikroskoopia | 14 | Töötlemata helevälja- ja fluorestsentspildid, mitmekanalilised pildikomplektid, z-virnad, intervallvõttega videod |
Seadmete ekraanid ja graafikud | 13 | Fotod voolutsütomeetri, mikroskoobi, NanoDropi, mikroplaadilugeja ja kaalu ekraanidest; eksporditud standardkõverad, kromatogrammid ja graafikud |
Sekveneerimisfailid | 12 | Pikkade lugemite töötlemata FASTQ-failid, FASTA-järjestused, GenBanki kaardid |
Protokollide videod | 7 | Joonkülv, inokuleerimine, seerialahjendus, SDS-PAGE-vanni ja inkubaatori seadistamine, kaaluga kaalumine |
Agartassid ja kolooniad | 7 | Transformatsioonitassid, sinise-valge selektsioon, antibiootikumiketastega tassid |
Võrdluslehed | 21 | Suurusmarkerite skeemid, plasmiidikaardid, pH-värviskaalad (abimaterjal) |
Iga andmeliiki sisaldavate ülesannete arv. Kategooriad kattuvad; võrdluslehed on abimaterjal.
Teadlased koostasid ülesanded oma katsete andmete põhjal ning lisasid katseandmetele küsimuse ja eksperdi koostatud hindamisjuhendi. Iga ülesande vaatas kõigepealt ettevõttesiseselt üle Ligo teadlane, kes polnud selle autor, seejärel ettevõtteväliselt märglaboris töötav doktorikraadiga teadlane ning lõpuks tehti veel üks sisemine ülevaatus. Ülevaatajad kontrollisid viipa, katseandmeid, hindamisjuhendit, autori märkmeid ja mudeli hinnatud lahenduskatset.
Vastuseid hinnatakse ülesande hindamisjuhendi alusel, mis määrab punktid üksikutele kriteeriumidele. Olenevalt ülesandest hinnatakse nende kriteeriumidega järeldust, arvulisi tulemusi, toetavat arutlust või tõdemust, et andmed on ebapiisavad.
Hindasime BioBasicsBenchi abil seitset mudelit: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna ja GPT‑6 Astra. Hindamine hõlmab 37 mudeli ja arutlusmahu kombinatsiooni. Iga kombinatsiooni puhul tehti kõigi 100 ülesandega viis katset, kokku saadi 18 500 tulemust.
Esitame keskmise skoori: ülesannete keskmise punktisumma protsendina võimalikust maksimumist. Vearibad näitavad 95% usaldusvahemikke, mis arvutati tervete ülesannete taasvalikuga, hoides iga ülesande viit katset koos.
Keskmine skoor sõltuvalt keskmisest väljundtokenite arvust ülesande kohta, esitatud logaritmilisel skaalal. Iga punkt tähistab testitud arutlusmahu sätet; jooned ühendavad neid sätteid järjestikku. X-telje väärtus kahekordistub iga jaotisega. Oranžid katkendjooned tähistavad GPT‑5 mudeleid ja sinised pidevjooned GPT‑6 mudeleid. Heledad vearibad näitavad tervete ülesannete bootstrap-meetodil arvutatud 95% usaldusvahemikke. Iga säte hõlmab kõiki 100 ülesannet ja viit katset ülesande kohta. Arutlusmahu sätted erinevad mudeliti.
GPT‑6 Astra ületab GPT‑5.6 Soli tulemusi märgatavalt ka väikese arutlusmahu korral. Need edusammud viitavad sellele, et parem sisseehitatud multimodaalne võimekus võib olla igapäevase märglabori analüüsi tulemuste parandamisel võtmetähtsusega.
Tulemused arutlusmahu sättel xhigh
Mudel | Keskmine skoor | 95% usaldusvahemik | Väljundtokeneid ülesande kohta |
|---|---|---|---|
GPT‑6 Astra | 66,7% | 60,3–73,1% | 4704 |
GPT‑6.1 Sol | 62,0% | 55,6–68,4% | 5238 |
GPT‑5.6 Sol | 43,8% | 37,6–50,0% | 9099 |
GPT‑6 Luna | 38,3% | 32,3–44,5% | 13 120 |
GPT‑5.5 | 35,4% | 29,7–41,0% | 11 135 |
GPT‑5.4 | 33,2% | 28,3–38,4% | 13 717 |
GPT‑5.2 | 31,2% | 26,2–36,3% | 27 620 |
Xhigh on suurim arutlusmahu säte, mille tulemused on esitatud kõigi seitsme mudeli kohta. Iga rida hõlmab kõiki 100 ülesannet ja viit katset ülesande kohta. Sätte Max tulemused on võimaluse korral lisatud ülalolevale graafikule.
Teaduses on levinud ohuks andmete ületõlgendamine, eriti arvestades hüpoteesi kontrollimisega kaasnevat kallutatust. Astra suutis paremini eristada, milliseid järeldusi andmed võimaldavad teha, ning vältida põhjendamatuid järeldusi.
Selles näites liigitas GPT‑5.6 Sol rakud surnuks, lähtudes surnud rakkude tuvastamiseks kasutatava värvaine signaalist. Kuid detektor võis registreerida ka teise värvaine valgust, seega ei piisanud ainuüksi heledusest selle järelduse põhjendamiseks. Astra märkas seda mitmetähenduslikkust ja soovitas signaalide eristamiseks paremaid kontrolle.
Heleväli · läbiv valgus
Kanal 2 · SYTOX-iga märgistatud · 470–540 nm
Kanal 3 · FUN-1 roheline · 525–580 nm
Samad rakupiirkonnad kolmes kanalis; tuvastusvahemikud kattuvad lainepikkustel 525–540 nm. Ühine vahemik võimaldab signaalide segunemist, mille ulatust pole mõõdetud. Iga kanal on kuvatud eraldi lineaarse intensiivsusskaalaga, mis on mõlemas piirkonnas sama; heledust ei saa kanalite vahel kvantitatiivselt võrrelda.
Teadustöö on väga multimodaalne ning nõuab pidevat visuaalset tõlgendamist ja otsustamist. Astra näitas märkimisväärset edasiminekut multimodaalsete andmete käsitlemisel: need hõlmasid fotosid ja videoid ning sekveneerimise, mikroplaadianalüüside, mikroskoopia ja voolutsütomeetria toorandmeid.
Kõige lihtsamal tasandil väljendus see GPT‑6 Astra võimes märgata katsete käigus tehtud piltidel peenemaid detaile ja teha seeläbi täpsemaid järeldusi, nagu näitab järgmine näide. Selles ülesandes pidid agendid tegema järeldusi DNA kloonimise katsest, milles kontrollid on hädavajalikud. GPT‑5.6 Sol ei näinud negatiivsel kontrolltassil kolooniaid ja lähtus oma järeldustes sellest tähelepanekust. GPT‑6 Astra märkas, et tassile oli märgitud vale antibiootikum, ja ei pidanud seda õigustatult usaldusväärseks kontrolliks.
Algne foto
Tähistus serval
Võrdlustesti algne foto, millel serva tähistus on ringiga märgitud ja suurendatud. „LB Kan50“ tähistab kanamütsiini, mis on katses kasutatud ampitsilliinist erinev antibiootikum.
Andmete õigeks tõlgendamiseks peavad teadlased analüüsi ajal meeles pidama nii bioloogiaalaseid vaiketeadmisi kui ka katse konteksti. Astra suutis seda konteksti paremini meeles pidada ja kogu analüüsi vältel rakendada.
Ühes ülesandes näidati mikroskoobipiltide seeriat, kus rakud ilmusid fookusse ja kadusid sealt. Kui GPT‑5.6 Sol otsis rakkude näilisele kadumisele bioloogilist seletust, siis GPT‑6 Astra tundis õigesti ära z-virna ehk eri sügavustel tehtud piltide seeria.
0 s
3 s
6 s
9 s
12 s
15 s
Kuus kaadrit algsest salvestisest. Katkendjoonega raamid tähistavad sama asukohta, kui mikroskoop skaneerib eri sügavusi. Ajad viitavad taasesituse asukohale etteantud videos.
Kõrgemad võrdlustesti skoorid ei tähenda veel, et mudelid suudavad laboris usaldusväärseid hinnanguid anda. Need Astra näited näitavad, kuidas eeldused, oodatud vastused ja etteantud tähistused võivad kaaluda üles katseandmed ning kuidas õige vahetähelepanek ei pruugi suunata lõplikku otsust.
Astra laseb tuttaval eeldusel kaaluda üles tõlgenduse, mida toetavad katse kontrollid. See suudab eristada kolooniaproovide vöötide kahte rühma, kuid eeldab, et suurem PCR-produkt viitab edukale kloonimisele. Selle eelduse põhjal pakub see radu 4, 6, 7 ja 8; võrdlusvastuses valitakse kontrollidega võrdlemise põhjal aga rajad 5, 9 ja 10.
Võrdlusvastus valib kolooniad 5, 9 ja 10; Astra pakub kolooniaid 4, 6, 7 ja 8.
1: marker · 2: kloonimissegu · 3: algne plasmiid · 4–10: kolooniaproovid
Kontrollide tõlgendamine
Rada 3 sisaldab ainult algse plasmiidi PCR-produkti. Selle vööt määrab vana plasmiidi võrdlusasukoha.
Võrdlustõlgenduse järgi sisaldab rada 2 mõlemat mustrit: mittetäieliku kokkupaneku tõttu jääb uue produkti kõrvale alles ka vana matriits või karkass.
Tekkinud kolooniad võivad kanda kas vana või uut plasmiidi. Võrdle nende vööte nende võrdlusmustritega.
Võrdlusvastuse valik: 5, 9 ja 10
Astra valik: 4, 6, 7 ja 8. Astra valib selle rühma, oletades, et suurem PCR-produkt esindab soovitud konstrukti.
Visuaalne rühmitus on õige, kuid rühmadele omistatud katselised identiteedid on võrdlusvastusega võrreldes vahetuses. Seetõttu valib Astra koloonia-PCR-i tulemuste põhjal valed kolooniad, mistõttu puhastataks järgmises etapis vale plasmiidi.
Astra alahindab tähelepanekuid, mis on tema eelistatud tõlgendusega vastuolus. See järeldab, et vakuoolid ehk rakusisesed ruumid on üldiselt ümbritsevast rakust tumedamad, kuigi samal pildil paistavad mõned neist heledamad. Mõlemad ilmingud on olulised: mikroskoobi fookuse muutmine võib kontrasti ümber pöörata, seega ei saa tumedamate näidete põhjal üldist reeglit kehtestada.
Tumedam ilme
Heledam ilme
Astra üldistus tumedamate vakuoolide kohta jätab kõrvale samas vaateväljas nähtavad heledamad vakuoolid.
Mida see vastus ei arvesta
Mõne raku kontrast on vastupidine. Mõlemad ilmingud tekivad seetõttu, et eri fookussügavused võivad kontrasti ümber pöörata.
Astra uurib mitut piirkonda ja isegi märgib, et kontrast muutub koos fookusega. Seejärel annab see suurema kaalu rakkudele, mida peab paremini fokuseerituks, ning jätab lõppvastusesse vaid nende tumedamaid vakuoole kirjeldava osa. Vastuolulisi heledamaid piirkondi on uuritud, kuid järelduses nendega ei arvestata.
Astra loendusmärgid ei vasta usaldusväärselt üksikutele kolooniatele: see ei erista lähestikku asuvaid kolooniaid, jätab nähtavaid kolooniaid vahele ja märgib tühja agarit. Kokkuvõttes loendab see sellel tassil ligikaudu 12% rohkem kolooniaid kui võrdlustesti etalonvastus.
Algne pilt
Astra loendusmärgid
Algne pilt
Astra loendusmärgid
Algne pilt
Astra loendusmärgid
A: üks loendusmärk naaberkolooniate vahel. B: kaks nähtavat kolooniat on märkimata. C: tühi agar on loetud kolooniaks. Punased ringid tähistavad Astra loenduskohti. Mustad nooled on toimetuse lisatud abiviidad.
Ebatäpne kolooniate arv mõjutab otseselt hinnangut sellele, kui tõhusalt DNA rakkudesse viidi. Kui külvatud maht ja lahjendus jäävad samaks, suurendab liigne kolooniate arv seda hinnangut samas proportsioonis.
Bioloogiauuringute kiirendamine eeldab igapäevase töö õigesti tegemist. BioBasicsBench seab selle töö arenduse sihiks: katsete toorandmete tõlgendamise, kontrollide kontrollimise ja märkamise, kui järeldus pole põhjendatud. Edusammud nende ülesannete lahendamisel võiksid aidata teadlastel kulutada vähem aega tõrkeotsingule ja rohkem aega otsustamisele, milliseid katseid järgmisena teha. Nende võimete jälgimine aitab meil mõista ka nende mõju bioohutusele ja bioturvalisusele.
