Vertiname, kaip DI agentai atlieka kasdienes eksperimentinės laboratorijos užduotis

Mūsų misija – užtikrinti, kad bendrasis dirbtinis intelektas būtų naudingas visai žmonijai. Siekdami šios misijos norime padėti mokslininkams paspartinti biologinius tyrimus – nuo ligų supratimo iki naujų gydymo būdų kūrimo. Kad DI agentai galėtų prisidėti, jie turi patikimai interpretuoti eksperimentinius duomenis, su kuriais mokslininkai kasdien dirba laboratorijose, atlikdami eksperimentus su biologiniais mėginiais. Kasdieniame eksperimentinės laboratorijos darbe pasitaiko nepavykusių eksperimentų, nevienareikšmių vaizdų ir prieštaringų stebėjimų. Esami vertinimo rinkiniai, sudaryti iš moksliniams straipsniams atrinktų diagramų ir vaizdų, gali neatskleisti šio neapibrėžtumo ir būtinybės ieškoti problemų priežasčių. Todėl pristatome „BioBasicsBench“ – naują vertinimo rinkinį, sukurtą kartu su fermentų kūrimo biotechnologijų bendrove „Ligo“, skirtą įvertinti, kaip gerai agentai atlieka įprastą eksperimentinę laboratorinę analizę.

100 rinkinio užduočių tikrina, ar agentai geba interpretuoti neapdorotus eksperimentinius duomenis, nustatyti klaidas ir atpažinti, kada duomenų nepakanka išvadai pagrįsti. Svarbu šias užduotis atlikti teisingai: klaidingai interpretavę vaizdą ar nepastebėję problemos kontroliniuose mėginiuose, naudojamuose eksperimento rezultatams patikrinti, mokslininkai gali padaryti klaidingą išvadą ir gaišti laiką eksperimentams, kurie nepadės atsakyti į jų klausimą.

Pasirinkus nustatymą „xhigh“, leidžiantį kiekvienai užduočiai skirti daugiau protavimo, GPT‑6 Astra vidutiniškai surinko 66,7 % galimų balų, o GPT‑5.6 Sol – 43,8 %. Rezultatai rodo pažangą atliekant įprastą laboratorinę analizę, tačiau dar galima tobulinti vaizdų interpretavimą, kontrolinių mėginių tikrinimą ir atsižvelgimą į eksperimento kontekstą.

„BioBasicsBench“ naudojami neapdoroti eksperimentiniai duomenys – nuo gelių vaizdų ir lėkštelių su kolonijomis iki mikroskopinių vaizdų ir prietaisų rodmenų.

„BioBasicsBench“ sudaro 100 užduočių iš penkių įprasto eksperimentinio laboratorinio darbo sričių: baltymų tyrimo metodų, vaizdinimo ir citometrijos, kiekybinio nustatymo ir tyrimų, nukleorūgščių tyrimo metodų bei molekulinio klonavimo. Užduotys apima ir paprastus prašymus, pavyzdžiui, nustatyti DNR mėginio molekulinę masę gelyje, ir išsamią tyrimo analizę, tačiau visos jos susijusios su įprastu darbu, kurį eksperimentinių laboratorijų mokslininkai turėtų gebėti patikimai atlikti.

Mokslininkai sukūrė užduotis remdamiesi savo eksperimentų duomenimis ir kiekvienam klausimui pridėjo ekspertų parengtus vertinimo kriterijus. Kiekvieną užduotį pirmiausia peržiūrėjo jos nerengęs „Ligo“ mokslininkas, tada – išorinis eksperimentinėje laboratorijoje dirbantis daktaro laipsnį turintis mokslininkas, o galiausiai buvo atlikta baigiamoji vidinė peržiūra.

Agentai pateikia struktūruotą atsakymą su prašoma išvada, matavimo rezultatu ar rekomendacija ir, kai reikalaujama, juos pagrindžiančiu protavimu. Atsakymams skiriami balai pagal atskirus vertinimo kriterijus, todėl rinkinys leidžia atskirti teisingą išvadą nuo iš dalies teisingos analizės. Dauguma užduočių vienu metu tikrina kelis gebėjimus, įskaitant biologijos žinias, vaizdų ir kitų duomenų interpretavimą, klaidų aptikimą bei protokolų supratimą.

Įvesties duomenys pateikiami tokiais formatais, su kokiais dirba mokslininkai: gelių ir pernašų vaizdais, lėkštelių nuotraukomis, mikroskopinių vaizdų sekomis, sekoskaitos nuskaitymais, iš plokštelių skaitytuvo eksportuotais duomenimis ir laboratorinio darbo vaizdo įrašais. Vienoje užduotyje gali būti kelių tipų duomenų. Informaciniai lapai, pavyzdžiui, molekulinio dydžio žymenų schemos ir plazmidžių žemėlapiai, padeda interpretuoti eksperimentinius duomenis.

Mokslininkai parengė užduotis remdamiesi savo eksperimentų duomenimis, prie jų pridėdami klausimą ir ekspertų sudarytą vertinimo kriterijų rinkinį. Kiekvieną užduotį pirmiausia peržiūrėjo jos nerengęs „Ligo“ mokslininkas, tada – išorinis eksperimentinėje laboratorijoje dirbantis daktaro laipsnį turintis mokslininkas, o galiausiai buvo atlikta baigiamoji vidinė peržiūra. Recenzentai tikrino užklausą, eksperimentinius duomenis, vertinimo kriterijus, autoriaus pastabas ir įvertintą modelio bandymą atlikti užduotį.

Atsakymai vertinami pagal užduoties vertinimo schemą, kurioje balai skiriami už atskirus kriterijus. Priklausomai nuo užduoties, pagal šiuos kriterijus vertinama išvada, skaitiniai rezultatai, juos pagrindžiantis protavimas arba atpažinimas, kad duomenų nepakanka.

Naudodami „BioBasicsBench“ įvertinome septynis modelius: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna ir GPT‑6 Astra. Vertinimas apima 37 modelių ir protavimo pastangų nustatymų derinius. Su kiekvienu deriniu visos 100 užduočių buvo atliekamos po penkis kartus – iš viso gauta 18 500 rezultatų.

Pateikiame vidutinį įvertį – vidutinį užduoties balą, išreikštą didžiausio galimo balo procentine dalimi. Paklaidų atkarpos rodo 95 % pasikliautinuosius intervalus, apskaičiuotus pakartotinai atrenkant ištisas užduotis ir kartu išlaikant visus penkis kiekvienos užduoties bandymus.

GPT‑6 Astra gerokai pranoksta GPT‑5.6 Sol net ir esant mažoms protavimo pastangoms. Šie pagerėjimai leidžia manyti, kad stipresni integruoti multimodaliniai gebėjimai gali būti itin svarbūs gerinant kasdienės eksperimentinės laboratorinės analizės rezultatus.

Moksle dažnai pasitaiko pernelyg plačiai interpretuoti duomenis, ypač dėl šališkumo, atsirandančio tikrinant hipotezę, pobūdžio. „Astra“ geriau atpažino, kiek iš tiesų galima spręsti iš duomenų, ir vengė nepagrįstų išvadų.

Šiame pavyzdyje GPT‑5.6 Sol priskyrė ląsteles negyvoms pagal dažo, naudojamo negyvoms ląstelėms aptikti, signalą. Tačiau detektorius galėjo užfiksuoti ir antro dažo skleidžiamą šviesą, todėl vien ryškumo tokiai išvadai pagrįsti nepakako. „Astra“ atpažino šį neapibrėžtumą ir nurodė, kad signalams atskirti reikia tinkamesnių kontrolinių mėginių.

Moksliniuose tyrimuose naudojama daug skirtingų modalumų duomenų, todėl nuolat tenka interpretuoti vaizdinę informaciją ir priimti sprendimus. „Astra“ gerokai patobulėjo analizuodama multimodalinius duomenis: nuotraukas ir vaizdo įrašus, taip pat neapdorotus sekoskaitos, tyrimų plokštelių skaitytuvu, mikroskopijos ir srauto citometrijos rezultatus.

Paprasčiausiai šis pagerėjimas pasireiškė GPT‑6 Astra gebėjimu pastebėti smulkesnes detales per eksperimentus užfiksuotuose vaizduose ir taip padaryti tikslesnes išvadas, kaip parodyta šiame pavyzdyje. Šioje užduotyje agentų buvo prašoma padaryti išvadas iš DNR klonavimo eksperimento, kuriame būtini kontroliniai mėginiai. GPT‑5.6 Sol nepastebėjo kolonijų neigiamos kontrolės lėkštelėje ir šiuo pastebėjimu grindė savo išvadas. GPT‑6 Astra pastebėjo, kad ant lėkštelės nurodytas netinkamas antibiotikas, ir teisingai nusprendė, kad ji nėra patikima kontrolė.

Kad teisingai interpretuotų duomenis, mokslininkai juos analizuodami turi atsižvelgti į neišreikštąsias biologijos žinias ir eksperimento kontekstą. „Astra“ geriau išlaikė šį kontekstą ir juo rėmėsi per visą analizę.

Vienoje užduotyje buvo pateikta mikroskopinių vaizdų seka, kurioje ląstelės tai patekdavo į fokusą, tai iš jo išeidavo. GPT‑5.6 Sol ieškojo biologinio tariamo ląstelių išnykimo paaiškinimo, o GPT‑6 Astra teisingai atpažino z ašies vaizdų seką – skirtinguose gyliuose užfiksuotus vaizdus.

Aukštesni vertinimo rinkinio balai dar nereiškia, kad modeliai gali priimti patikimus sprendimus laboratorijoje. Šie „Astra“ pavyzdžiai rodo, kaip prielaidoms, tikėtiniems atsakymams ir pateiktoms žymoms gali būti teikiama pirmenybė prieš duomenis, o teisingas tarpinis pastebėjimas gali neturėti įtakos galutiniam sprendimui.

„Astra“ teikia pirmenybę įprastai prielaidai, o ne interpretacijai, kurią pagrindžia eksperimento kontroliniai mėginiai. Modelis geba atskirti dvi kolonijų juostų grupes, tačiau daro prielaidą, kad didesnis PGR produktas reikštų sėkmingą klonavimą. Remdamasis šia prielaida jis siūlo takelius 4, 6, 7 ir 8, o etaloniniame atsakyme, palyginus su kontroliniais mėginiais, parenkami takeliai 5, 9 ir 10.

„Astra“ nuvertina stebėjimus, prieštaraujančius jos pasirinktai interpretacijai. Modelis daro išvadą, kad vakuolės – ląstelės viduje esančios ertmės – paprastai yra tamsesnės už aplinkinę ląstelės dalį, nors tame pačiame vaizde kai kurios atrodo šviesesnės. Abu variantai svarbūs: pakeitus mikroskopo fokusavimą, kontrastas gali tapti priešingas, todėl tamsesni pavyzdžiai nepagrindžia bendros taisyklės.

„Astra“ skaičiavimo žymos ne visada atitinka atskiras kolonijas: modelis neatskiria arti esančių kolonijų, praleidžia matomas kolonijas ir pažymi agarą be kolonijų. Galutinis šios lėkštelės kolonijų skaičius yra maždaug 12 % didesnis už etaloninį vertinimo rinkinio skaičių.

Netikslus kolonijų skaičius tiesiogiai veikia DNR įvedimo į ląsteles efektyvumo įvertinimą. Kai pasėtas tūris ir skiedimas nekinta, per didelis kolonijų skaičius padidina šį įvertį tokia pačia proporcija.

Norint paspartinti biologinius tyrimus, būtina teisingai atlikti kasdienius darbus. „BioBasicsBench“ padeda sutelkti tobulinimo pastangas į šį darbą: neapdorotų eksperimentinių duomenų interpretavimą, kontrolinių mėginių tikrinimą ir atpažinimą, kada išvada nepagrįsta. Pažanga atliekant šias užduotis galėtų padėti mokslininkams mažiau laiko skirti problemų priežasčių paieškai, o daugiau – spręsti, kokių eksperimentų imtis toliau. Šių gebėjimų stebėjimas taip pat padės suprasti jų reikšmę biologinei saugai ir biologiniam saugumui.