Kā novērtēt MI aģentu spējas ikdienas eksperimentālajā laboratorijas darbā

Mūsu misija ir nodrošināt, lai mākslīgais vispārējais intelekts sniegtu labumu visai cilvēcei. Šīs misijas ietvaros vēlamies palīdzēt zinātniekiem paātrināt bioloģiskos pētījumus — no slimību izpratnes līdz jaunu ārstēšanas metožu izstrādei. Lai MI aģenti varētu dot ieguldījumu, tiem jāspēj uzticami interpretēt eksperimentālos datus, ar kuriem zinātnieki ik dienu strādā laboratorijās, veicot eksperimentus ar bioloģiskiem paraugiem. Eksperimentālās laboratorijas ikdienā ir gan neveiksmīgi eksperimenti, gan neviennozīmīgi attēli un pretrunīgi novērojumi. Esošie etalontesti, kuru pamatā ir zinātniskām publikācijām atlasīti grafiki un attēli, var neaptvert šo neviennozīmību un tās radīto vajadzību meklēt problēmu cēloņus. Tāpēc iepazīstinām ar BioBasicsBench — jaunu etalontestu, kas izstrādāts kopā ar enzīmu projektēšanā specializēto biotehnoloģiju uzņēmumu Ligo, lai novērtētu, cik labi aģenti veic ikdienas eksperimentālo laboratorijas datu analīzi.

Etalontesta 100 uzdevumi pārbauda, vai aģenti spēj interpretēt neapstrādātus eksperimentālos datus, noteikt kļūdas un atpazīt gadījumus, kad dati neļauj pamatot secinājumu. Šos uzdevumus ir svarīgi izpildīt pareizi, jo kļūdaina attēla interpretācija vai nepamanīta problēma kontrolparaugos, ko izmanto eksperimenta rezultātu pārbaudei, var novest pie nepareiziem secinājumiem un likt zinātniekiem tērēt laiku eksperimentiem, kas nepalīdzēs atbildēt uz viņu pētāmo jautājumu.

Ar iestatījumu „xhigh“, kas katram uzdevumam ļauj izmantot lielāku spriestspējas intensitāti, GPT‑6 Astra vidēji ieguva 66,7 % no iespējamajiem punktiem, salīdzinot ar GPT‑5.6 Sol iegūtajiem 43,8 %. Rezultāti liecina par progresu ikdienas laboratorijas datu analīzē, taču attēlu interpretāciju, kontrolparaugu pārbaudi un eksperimenta konteksta izmantošanu vēl var uzlabot.

BioBasicsBench izmanto neapstrādātus eksperimentālos datus — no gēlu attēliem un koloniju platēm līdz mikroskopijas datiem un instrumentu rādījumiem.

BioBasicsBench ietver 100 uzdevumus piecās ikdienas eksperimentālā laboratorijas darba jomās: olbaltumvielu izpētes metodes, attēlveidošana un citometrija, kvantitatīvā noteikšana un analīzes, nukleīnskābju izpētes metodes un molekulārā klonēšana. Uzdevumi sniedzas no vienkāršiem pieprasījumiem, piemēram, DNS parauga molekulmasas noteikšanas gēlā, līdz detalizētai analīžu izvērtēšanai, taču visi aptver ikdienas darbu, ko eksperimentālās laboratorijas zinātniekiem būtu jāspēj veikt droši un precīzi.

Zinātnieki veidoja uzdevumus, izmantojot savu eksperimentu datus un katram jautājumam pievienojot ekspertu izstrādātus vērtēšanas kritērijus. Katru uzdevumu vispirms iekšēji pārskatīja Ligo zinātnieks, kurš nebija tā autors, pēc tam ārēji — eksperimentālā laboratorijā strādājošs zinātnieks ar doktora grādu, un noslēgumā tika veikta vēl viena iekšēja pārskatīšana.

Aģenti sniedz strukturētu atbildi ar prasīto secinājumu, mērījumu vai ieteikumu un, ja nepieciešams, arī pamatojumu. Atbildēm piešķir punktus par atsevišķu vērtēšanas kritēriju izpildi, ļaujot etalontestam nošķirt pareizu secinājumu no daļēji pareizas analīzes. Vairums uzdevumu vienlaikus pārbauda vairākas prasmes, tostarp bioloģijas zināšanas, attēlu un citu datu interpretāciju, kļūdu noteikšanu un protokolu izpratni.

Ievaddati saglabā formātus, ar kuriem strādā zinātnieki: gēlu un blotu attēlus, plašu fotogrāfijas, mikroskopijas attēlu kopas, sekvenēšanas nolasījumus, no mikroplašu lasītājiem eksportētus datus un laboratorijas darba video. Vienā uzdevumā var būt ietverti vairāki datu veidi. Uzziņu lapas, piemēram, molekulārā izmēra marķieru shēmas un plazmīdu kartes, palīdz interpretēt eksperimentālos datus.

Zinātnieki veidoja uzdevumus no savu eksperimentu datiem, pievienojot tiem jautājumu un ekspertu izstrādātu vērtēšanas shēmu. Katru uzdevumu vispirms iekšēji pārskatīja Ligo zinātnieks, kurš nebija tā autors, pēc tam ārēji — eksperimentālā laboratorijā strādājošs zinātnieks ar doktora grādu, un noslēgumā tika veikta vēl viena iekšēja pārskatīšana. Recenzenti pārbaudīja uzvedni, eksperimentālos datus, vērtēšanas shēmu, autora piezīmes un novērtētu modeļa mēģinājumu.

Atbildes vērtē pēc uzdevuma vērtēšanas shēmas, kurā punkti piešķirti atsevišķiem kritērijiem. Atkarībā no uzdevuma šie kritēriji vērtē secinājumu, skaitliskos rezultātus, pamatojumu vai spēju atzīt, ka datu nepietiek.

Ar BioBasicsBench novērtējām septiņus modeļus: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna un GPT‑6 Astra. Novērtējumā ietvertas 37 modeļu un spriestspējas intensitātes iestatījumu kombinācijas. Katrai kombinācijai katrs no 100 uzdevumiem tika izpildīts piecas reizes, kopā iegūstot 18 500 rezultātu.

Norādām vidējo vērtējumu: vidējo uzdevumu rezultātu, kas izteikts procentos no maksimālā iespējamā punktu skaita. Kļūdu nogriežņi rāda 95 % ticamības intervālus, kas aprēķināti, atkārtoti veidojot izlases no veseliem uzdevumiem un paturot kopā katra uzdevuma piecus mēģinājumus.

GPT‑6 Astra būtiski pārspēj GPT‑5.6 Sol pat ar zemu spriestspējas intensitāti. Šie uzlabojumi liecina, ka spēcīgākas modelī iebūvētās multimodālās spējas var būt izšķirošas, lai uzlabotu ikdienas eksperimentālo laboratorijas datu analīzi.

Zinātnē izplatīta kļūda ir no datiem secināt vairāk, nekā tie pamato, īpaši ņemot vērā aizspriedumus, kas rodas, pārbaudot hipotēzi. Astra labāk spēja saskatīt robežu tam, ko dati patiešām rāda, un izvairīties no nepamatotiem secinājumiem.

Šajā piemērā GPT‑5.6 Sol klasificēja šūnas kā mirušas, balstoties uz signālu no krāsvielas, ko izmanto mirušu šūnu noteikšanai. Taču detektors varēja uztvert arī otras krāsvielas izstaroto gaismu, tāpēc ar spilgtumu vien nepietika, lai pamatotu šo secinājumu. Astra atpazina šo neviennozīmību un norādīja, ka signālu nošķiršanai vajadzīgi labāki kontrolparaugi.

Zinātniskā pētniecība ir izteikti multimodāla — tajā nemitīgi jāinterpretē vizuālā informācija un jāpieņem lēmumi. Astra uzrādīja būtiski labākas spējas apstrādāt multimodālus datus: fotogrāfijas un video, kā arī neapstrādātus sekvenēšanas, mikroplašu lasītāju analīžu, mikroskopijas un plūsmas citometrijas rezultātus.

Visvienkāršākajā līmenī šis uzlabojums bija redzams GPT‑6 Astra spējā eksperimentu laikā uzņemtajos attēlos pamanīt smalkākas detaļas un tādējādi izdarīt precīzākus secinājumus, kā redzams šajā piemērā. Šajā uzdevumā aģentiem bija jāizdara secinājumi par DNS klonēšanas eksperimentu, kurā kontrolparaugiem ir būtiska nozīme. GPT‑5.6 Sol uz negatīvās kontroles plates neredzēja kolonijas un savus secinājumus balstīja uz šo novērojumu. GPT‑6 Astra pamanīja, ka uz plates marķējuma norādīta nepareizā antibiotika, un pamatoti neatzina to par uzticamu kontrolparaugu.

Lai pareizi interpretētu datus, zinātniekiem analīzes laikā jāpatur prātā gan pieredzē uzkrātās bioloģijas zināšanas, gan eksperimenta konteksts. Astra uzrādīja labāku spēju saglabāt šo kontekstu un izmantot to visā analīzes gaitā.

Vienā uzdevumā mikroskopa attēlu sērijā šūnas te nonāca fokusā, te atkal izplūda. Kamēr GPT‑5.6 Sol meklēja bioloģisku izskaidrojumu šūnu šķietamajai pazušanai, GPT‑6 Astra pareizi atpazina Z ass attēlu kopu — dažādos dziļumos uzņemtu attēlu sēriju.

Augstāki etalontesta vērtējumi vēl nenozīmē, ka modeļi laboratorijā spēj izdarīt uzticamus spriedumus. Šie Astra piemēri parāda, kā pieņēmumi, gaidītās atbildes un dotie marķējumi var gūt virsroku pār datiem un kā pareizs starpposma novērojums var neietekmēt galīgo lēmumu.

Astra ierastu pieņēmumu vērtē augstāk par interpretāciju, ko pamato eksperimenta kontrolparaugi. Modelis spēj atšķirt abas koloniju joslu grupas, taču pieņem, ka lielāks PĶR produkts norādītu uz sekmīgu klonēšanu. Balstoties uz šo pieņēmumu, tas piedāvā celiņus 4, 6, 7 un 8; savukārt etalonatbildē, salīdzinot ar kontrolparaugiem, atlasīti celiņi 5, 9 un 10.

Astra nepietiekami ņem vērā novērojumus, kas ir pretrunā modeļa izvēlētajai interpretācijai. Modelis secina, ka vakuolas — nodalījumi šūnu iekšienē — parasti ir tumšākas par apkārtējo šūnas daļu, lai gan dažas tajā pašā attēlā izskatās gaišākas. Abi izskati ir būtiski: mainot mikroskopa fokusu, kontrasts var apvērsties, tāpēc tumšākie piemēri nepamato vispārīgu likumsakarību.

Astra uzskaites atzīmes ne vienmēr atbilst atsevišķām kolonijām: modelis nespēj nošķirt cieši blakus esošas kolonijas, izlaiž redzamas kolonijas un atzīmē agaru bez kolonijām. Rezultātā uz šīs plates saskaitīts aptuveni par 12 % vairāk koloniju nekā etalonatbildē.

Neprecīzs koloniju skaits tieši ietekmē novērtējumu par to, cik efektīvi DNS ievadīta šūnās. Ja uzsējuma tilpums un atšķaidījums paliek nemainīgi, pārvērtēts koloniju skaits tikpat proporcionāli palielina arī šo novērtējumu.

Lai paātrinātu bioloģiskos pētījumus, ikdienas darbs ir jāveic pareizi. BioBasicsBench izvirza šo darbu par pilnveides mērķi: interpretēt neapstrādātus eksperimentālos datus, pārbaudīt kontrolparaugus un atpazīt nepamatotus secinājumus. Progress šajos uzdevumos varētu palīdzēt zinātniekiem mazāk laika veltīt problēmu novēršanai un vairāk — lēmumiem par nākamajiem eksperimentiem. Šo spēju attīstības izsekošana arī palīdzēs mums izprast to ietekmi uz biodrošumu un biodrošību.