Hvernig ráða Ai-fulltrúar við dagleg störf á tilraunastofum?

Markmið okkar er að tryggja að almenn gervigreind gagnist öllu mannkyni. Sem lið í því viljum við hjálpa vísindafólki að hraða líffræðirannsóknum — allt frá því að skilja sjúkdóma til þess að þróa nýjar meðferðir. Til að Ai-fulltrúar geti lagt sitt af mörkum þurfa þeir að túlka með áreiðanlegum hætti þau tilraunagögn sem vísindafólk vinnur með daglega á tilraunastofum, þar sem gerðar eru tilraunir með lífsýni. Misheppnaðar tilraunir, óljósar myndir og mótsagnakenndar athuganir eru hluti af daglegu starfi á tilraunastofum. Núverandi viðmiðunarpróf byggjast á gröfum og myndum sem valdar eru fyrir vísindagreinar og ná því ekki endilega utan um þessa óvissu og þá bilanaleit sem hún krefst. Þess vegna kynnum við BioBasicsBench, nýtt viðmiðunarpróf sem var þróað með Ligo, líftæknifyrirtæki sem sérhæfir sig í ensímhönnun. Prófið mælir hversu vel fulltrúar ráða við hefðbundna greiningarvinnu á tilraunastofum.

Verkefnin 100 í viðmiðunarprófinu kanna hvort fulltrúar geti túlkað óunnin tilraunagögn, greint villur og áttað sig á því hvenær gögnin styðja ekki ályktun. Mikilvægt er að leysa þessi verkefni rétt. Röng túlkun á mynd eða yfirséður galli á viðmiðunarsýnum, sem notuð eru til að sannreyna niðurstöður tilraunar, getur leitt vísindafólk að rangri niðurstöðu og valdið því að það verji tíma í tilraunir sem hjálpa ekki við að svara rannsóknarspurningunni.

Við stillinguna „xhigh“, sem leyfir meiri vinnslu raka í hverju verkefni, náði GPT‑6 Astra að meðaltali 66,7% af mögulegum stigafjölda, samanborið við 43,8% hjá GPT‑5.6 Sol. Niðurstöðurnar sýna framfarir í hefðbundinni greiningarvinnu á tilraunastofum, en enn má bæta túlkun mynda, athugun viðmiðunarsýna og nýtingu samhengis tilrauna.

BioBasicsBench notar óunnin tilraunagögn, allt frá gelmyndum og skálum með þyrpingum til smásjármynda og aflestra úr tækjum.

BioBasicsBench inniheldur 100 verkefni á fimm sviðum hefðbundinnar tilraunastofuvinnu: próteinaaðferðir, myndgreining og frumumælingar, magngreining og prófanir, kjarnsýruaðferðir og sameindaklónun. Verkefnin spanna allt frá einföldum beiðnum, svo sem að lesa sameindaþyngd DNA-sýnis af geli, til ítarlegrar greiningar prófunarniðurstaðna. Öll fela þau þó í sér hefðbundna vinnu sem vísindafólk á tilraunastofum ætti að geta leyst með áreiðanlegum hætti.

Vísindafólk samdi verkefnin út frá gögnum úr eigin tilraunum og tengdi hverja spurningu við matsviðmið sem sérfræðingar sömdu. Hvert verkefni fór í innri yfirferð hjá vísindamanni hjá Ligo sem hafði ekki samið það, ytri yfirferð hjá vísindamanni með doktorspróf sem starfar á tilraunastofu og loks aðra innri yfirferð.

Fulltrúar skila skipulögðu svari með umbeðinni niðurstöðu, mælingu eða tillögu og, þar sem þess er krafist, rökum til stuðnings. Svör fá stig fyrir einstök matsviðmið. Þannig getur viðmiðunarprófið greint á milli réttrar niðurstöðu og greiningar sem er aðeins rétt að hluta. Flest verkefnin prófa nokkra hæfniþætti saman, þar á meðal líffræðilega þekkingu, túlkun mynda og annarra gagna, greiningu villna og skilning á verklýsingum.

Inntaksgögnin halda því formi sem vísindafólk vinnur með: gel- og þrykkmyndir, ljósmyndir af skálum, staflar smásjármynda, raðlestrar, útflutt gögn úr plötulesara og myndskeið af tilraunastofuvinnu. Eitt verkefni getur innihaldið nokkrar tegundir gagna. Viðmiðunarblöð, svo sem stærðarstigatöflur og plasmíðkort, styðja við túlkun tilraunagagnanna.

Vísindafólk samdi verkefnin út frá gögnum úr eigin tilraunum og tengdi tilraunagögnin við spurningu og matskvarða sem sérfræðingar sömdu. Hvert verkefni fór í innri yfirferð hjá vísindamanni hjá Ligo sem hafði ekki samið það, ytri yfirferð hjá vísindamanni með doktorspróf sem starfar á tilraunastofu og loks aðra innri yfirferð. Yfirlesarar fóru yfir kvaðninguna, tilraunagögnin, matskvarðann, athugasemdir höfundar og metna tilraun líkans til að leysa verkefnið.

Svör eru metin samkvæmt matskvarða verkefnisins, sem úthlutar stigum fyrir einstök viðmið. Eftir verkefnum meta þessi viðmið niðurstöðuna, töluleg gildi, rök til stuðnings eða hvort líkanið áttar sig á að gögnin nægja ekki.

Við mátum sjö líkön með BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna og GPT‑6 Astra. Matið nær til 37 samsetninga líkana og vinnslustiga raka. Við hverja stillingu voru gerðar fimm tilraunir við hvert verkefnanna 100, sem skilaði alls 18.500 niðurstöðum.

Við birtum meðalstig: meðaleinkunn verkefna, gefna upp sem hlutfall af mögulegum stigafjölda. Skekkjustikur sýna 95% öryggisbil sem reiknuð eru með endurúrtaki heilla verkefna, þar sem tilraununum fimm fyrir hvert verkefni er haldið saman.

GPT‑6 Astra stendur sig mun betur en GPT‑5.6 Sol, jafnvel á lágu vinnslustigi raka. Þessar framfarir benda til þess að öflugri innbyggð fjölháttageta gæti verið lykillinn að betri árangri í daglegri greiningarvinnu á tilraunastofum.

Algeng gildra í vísindum er að lesa of mikið úr gögnunum, ekki síst vegna þeirrar bjögunar sem getur komið fram þegar tilgáta er prófuð. Astra sýndi meiri hæfni til að greina takmörk þess sem gögnin sýna og forðast órökstuddar ályktanir.

Í þessu dæmi flokkaði GPT‑5.6 Sol frumur sem dauðar út frá merki frá litarefni sem notað er til að greina dauðar frumur. En skynjarinn gat einnig numið ljós frá öðru litarefni, svo birtustigið eitt og sér nægði ekki til að styðja þá ályktun. Astra áttaði sig á þessari óvissu og kallaði eftir betri viðmiðunarsýnum til að aðgreina merkin.

Vísindarannsóknir byggjast á margvíslegum gagnagerðum og krefjast stöðugrar túlkunar sjónrænna gagna og ákvarðanatöku. Astra sýndi verulegar framfarir í meðhöndlun fjölhátta gagna, bæði ljósmynda og myndskeiða, sem og óunninna gagna úr raðgreiningu, mælingum með plötulesara, smásjárgreiningu og frumuflæðisjá.

Á grunnstigi kom þessi framför fram í hæfni GPT‑6 Astra til að greina fínni smáatriði á myndum úr tilraunum og draga því nákvæmari ályktanir, eins og sést í þessu dæmi. Í þessu verkefni áttu fulltrúar að draga ályktanir af DNA-klónunartilraun, þar sem viðmiðunarsýni eru nauðsynleg. GPT‑5.6 Sol sá engar þyrpingar á neikvæðu viðmiðunarskálinni og byggði ályktanir sínar á því. GPT‑6 Astra tók eftir að skálin var merkt með röngu sýklalyfi og hafnaði henni réttilega sem áreiðanlegu viðmiði.

Vísindafólk þarf að hafa þögla líffræðilega þekkingu og samhengi tilraunarinnar í huga við gagnagreiningu til að túlka gögnin rétt. Astra sýndi aukna hæfni til að halda þessu samhengi til haga og nýta það í allri greiningunni.

Í einu verkefni sáust frumur koma í og fara úr fókus í röð smásjármynda. GPT‑5.6 Sol leitaði að líffræðilegri skýringu á því að frumurnar virtust hverfa, en GPT‑6 Astra áttaði sig réttilega á að þetta var z-stafli: röð mynda sem teknar voru á mismunandi dýpi.

Hærri stig í viðmiðunarprófum þýða ekki enn að líkön geti lagt áreiðanlegt mat á aðstæður á tilraunastofu. Þessi dæmi um Astra sýna hvernig forsendur, væntanleg svör og meðfylgjandi merkingar geta vegið þyngra en gögnin og hvernig rétt athugun á millistigi getur mistekist að leiða lokaákvörðunina.

Astra lætur kunnuglega forsendu vega þyngra en þá túlkun sem viðmiðunarsýni tilraunarinnar styðja. Það getur greint á milli tveggja hópa banda úr þyrpingum en gerir ráð fyrir að stærri PCR-afurð bendi til þess að klónun hafi tekist. Á þeirri forsendu leggur það til brautir 4, 6, 7 og 8; samanburður við viðmiðunarsýni í viðmiðunarsvarinu velur hins vegar brautir 5, 9 og 10.

Astra gerir lítið úr athugunum sem stangast á við þá túlkun sem það kýs. Það ályktar að safabólur, hólf innan frumna, séu almennt dekkri en fruman umhverfis þær, þótt sumar virðist ljósari á sömu mynd. Bæði útlitin skipta máli: breyting á fókus smásjárinnar getur snúið birtuskilunum við, svo dekkri dæmin staðfesta ekki almenna reglu.

Talningarmerki Astra samsvara ekki einstökum þyrpingum með áreiðanlegum hætti: það nær ekki að aðgreina þyrpingar sem liggja þétt saman, missir af sýnilegum þyrpingum og merkir agar án vaxtar. Heildarniðurstaðan fyrir þessa skál er um 12% oftalning miðað við viðmiðunarsvar prófsins.

Ónákvæm þyrpingatalning hefur bein áhrif á mat á því hversu vel tókst að koma DNA inn í frumur. Þegar rúmmál sýnisins sem sáð er og þynningin eru óbreytt hækkar oftalning þetta mat um sama hlutfall.

Til að hraða líffræðirannsóknum þarf daglega vinnan að vera rétt unnin. BioBasicsBench beinir umbótastarfi að þessari vinnu: að túlka óunnin tilraunagögn, athuga viðmiðunarsýni og átta sig á því hvenær niðurstaða er ekki studd gögnum. Framfarir í þessum verkefnum gætu hjálpað vísindafólki að verja minni tíma í bilanaleit og meiri tíma í að ákveða hvaða tilraunir skuli gera næst. Að fylgjast með þessari getu mun einnig hjálpa okkur að skilja þýðingu hennar fyrir líföryggi og varnir gegn misnotkun líffræðilegrar tækni.