Miten tekoälyagentit suoriutuvat kokeellisen laboratoriotyön arjesta?

Missiomme on varmistaa, että yleinen tekoäly hyödyttää koko ihmiskuntaa. Osana tätä missiota haluamme auttaa tutkijoita nopeuttamaan biologista tutkimusta sairauksien ymmärtämisestä uusien hoitojen kehittämiseen. Jotta tekoälyagentit voivat auttaa tässä, niiden on tulkittava luotettavasti koeaineistoa, jota tutkijat käsittelevät päivittäin tehdessään laboratoriokokeita biologisilla näytteillä. Kokeellisen laboratoriotyön arkeen kuuluvat epäonnistuneet kokeet, monitulkintaiset kuvat ja ristiriitaiset havainnot. Nykyiset vertailutestit perustuvat tieteellisiin julkaisuihin valittuihin kaavioihin ja kuviin, joten tämä monitulkintaisuus ja sen vaatima ongelmanratkaisu voivat jäädä niissä huomiotta. Siksi esittelemme BioBasicsBenchin, uuden vertailutestin, joka mittaa agenttien suoriutumista kokeellisen laboratoriotyön rutiinianalyyseistä. Kehitimme sen yhdessä entsyymisuunnitteluun keskittyvän bioteknologiayritys Ligon kanssa.

Vertailutestin 100 tehtävää testaavat, osaavatko agentit tulkita kokeiden raakadataa, tunnistaa virheitä ja huomata, milloin aineisto ei riitä johtopäätöksen tekemiseen. Näiden tehtävien onnistuminen on tärkeää: kuvan virheellinen tulkinta tai kokeen tulosten tarkistamiseen käytettyjen kontrollien ongelman sivuuttaminen voi johtaa tutkijat väärään johtopäätökseen ja tuhlaamaan aikaa kokeisiin, jotka eivät auta vastaamaan tutkimuskysymykseen.

Asetuksella ”xhigh”, joka sallii enemmän päättelyä tehtävää kohden, GPT‑6 Astra sai keskimäärin 66,7 % enimmäispisteistä, kun GPT‑5.6 Sol sai 43,8 %. Tulokset osoittavat edistystä laboratorioiden rutiinianalyyseissä. Parannettavaa on silti kuvien tulkinnassa, kontrollien tarkistamisessa ja koeasetelman kontekstin hyödyntämisessä.

BioBasicsBench käyttää käsittelemätöntä koeaineistoa geelikuvista ja pesäkemaljoista mikroskopiaan ja laitteiden lukemiin.

BioBasicsBenchin 100 tehtävää kattavat viisi kokeellisen laboratoriotyön rutiinialuetta: proteiinimenetelmät, kuvantamisen ja sytometrian, kvantifioinnin ja määritykset, nukleiinihappomenetelmät sekä molekyylikloonauksen. Tehtävät vaihtelevat yksinkertaisista pyynnöistä, kuten DNA-näytteen molekyylipainon lukemisesta geelistä, yksityiskohtaiseen määritystulosten analysointiin. Kaikki ovat kuitenkin rutiinityötä, josta kokeellista laboratoriotyötä tekevien tutkijoiden tulisi suoriutua luotettavasti.

Tutkijat laativat tehtävät omien kokeidensa aineistosta ja liittivät jokaiseen kysymykseen asiantuntijan kirjoittamat arviointikriteerit. Jokaisen tehtävän tarkisti ensin sisäisesti Ligon tutkija, joka ei ollut sen laatija. Sen jälkeen tehtävän arvioi ulkopuolinen, tohtoritason tutkija, joka tekee kokeellista laboratoriotyötä, ja lopuksi se kävi läpi vielä sisäisen tarkistuksen.

Agentit palauttavat jäsennellyn vastauksen, joka sisältää pyydetyn johtopäätöksen, mittaustuloksen tai suosituksen sekä tarvittaessa sitä tukevan päättelyn. Vastaukset pisteytetään arviointiohjeen yksittäisten kriteerien mukaan, joten vertailutesti pystyy erottamaan oikean johtopäätöksen osittain oikeasta analyysistä. Useimmat tehtävät testaavat useita taitoja yhdessä, kuten biologista tietämystä, kuvien ja muun aineiston tulkintaa, virheiden havaitsemista ja menetelmäohjeiden ymmärtämistä.

Syötteet säilyttävät tutkijoiden käyttämän aineiston alkuperäiset muodot: geeli- ja blottikuvat, maljojen valokuvat, mikroskooppikuvapinot, sekvensointilukemat, levynlukijoiden vientitiedostot ja videot laboratoriotyöstä. Yksi tehtävä voi sisältää useita aineistotyyppejä. Vertailumateriaali, kuten kokomarkkerikaaviot ja plasmidikartat, tukee koeaineiston tulkintaa.

Tutkijat laativat tehtävät omien kokeidensa aineistosta ja yhdistivät koeaineistoon kysymyksen sekä asiantuntijan kirjoittaman arviointiohjeen. Jokaisen tehtävän tarkisti ensin sisäisesti Ligon tutkija, joka ei ollut sen laatija. Sen jälkeen tehtävän arvioi ulkopuolinen, tohtoritason tutkija, joka tekee kokeellista laboratoriotyötä, ja lopuksi se kävi läpi vielä sisäisen tarkistuksen. Arvioijat tarkistivat kehotteen, koeaineiston, arviointiohjeen, laatijan muistiinpanot ja yhden pisteytetyn mallin vastauksen.

Vastaukset pisteytetään tehtävän arviointiohjeen mukaan, jossa pisteitä annetaan yksittäisten kriteerien täyttymisestä. Tehtävästä riippuen kriteereillä arvioidaan johtopäätöstä, numeerisia tuloksia, tukevaa päättelyä tai sen tunnistamista, ettei aineisto riitä johtopäätökseen.

Arvioimme BioBasicsBenchillä seitsemää mallia: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna ja GPT‑6 Astra. Arviointi kattaa 37 mallin ja päättelytason yhdistelmää. Kullakin yhdistelmällä suoritettiin kaikki 100 tehtävää viisi kertaa, joten tuloksia kertyi yhteensä 18 500.

Raportoimme keskimääräisen palkkion eli tehtävien keskimääräisen pistemäärän prosenttiosuutena enimmäispisteistä. Virhepalkit näyttävät 95 %:n luottamusvälit. Ne on laskettu uudelleenotannalla kokonaisista tehtävistä siten, että kunkin tehtävän viisi yritystä pysyvät yhdessä.

GPT‑6 Astra suoriutuu huomattavasti paremmin kuin GPT‑5.6 Sol myös matalalla päättelytasolla. Nämä parannukset viittaavat siihen, että vahvemmat natiivit multimodaaliset kyvyt voivat olla avain parempaan suoriutumiseen päivittäisessä kokeellisen laboratoriotyön analyysissä.

Aineiston ylitulkinta on tieteessä yleinen sudenkuoppa, etenkin kun otetaan huomioon hypoteesin testaamiseen liittyvä vinouma. Astra tunnisti aiempaa paremmin, mitä aineistosta voi päätellä, ja vältti perusteettomia johtopäätöksiä.

Tässä esimerkissä GPT‑5.6 Sol luokitteli soluja kuolleiksi kuolleiden solujen tunnistamiseen käytettävän väriaineen signaalin perusteella. Ilmaisin saattoi kuitenkin havaita myös toisen väriaineen valoa, joten pelkkä kirkkaus ei riittänyt johtopäätöksen perusteluksi. Astra tunnisti tämän monitulkintaisuuden ja totesi, että signaalien erottamiseen tarvitaan parempia kontrolleja.

Tieteellinen tutkimus on hyvin multimodaalista ja vaatii jatkuvaa visuaalista tulkintaa ja päätöksentekoa. Astran kyky käsitellä multimodaalista aineistoa parani merkittävästi. Aineistona oli valokuvia ja videoita sekä raakadataa sekvensoinnista, levynlukijamäärityksistä, mikroskopiasta ja virtaussytometriasta.

Perustasolla parannus näkyi siinä, että GPT‑6 Astra erotti kokeiden aikana otetuista kuvista pienempiä yksityiskohtia ja teki siksi tarkempia johtopäätöksiä, kuten tämä esimerkki osoittaa. Tässä tehtävässä agentteja pyydettiin tekemään johtopäätöksiä DNA:n kloonauskokeesta, jossa kontrollit ovat olennaisia. GPT‑5.6 Sol ei havainnut pesäkkeitä negatiivisella kontrollimaljalla ja perusti johtopäätöksensä tähän havaintoon. GPT‑6 Astra huomasi, että maljaan oli merkitty väärä antibiootti, ja totesi oikein, ettei malja kelpaa luotettavaksi kontrolliksi.

Tutkijoiden on pidettävä mielessään biologian hiljainen tieto ja koeasetelman konteksti aineistoa analysoidessaan, jotta he voivat tulkita sitä oikein. Astra piti tämän kontekstin aiempaa paremmin mielessään ja hyödynsi sitä koko analyysin ajan.

Yhdessä tehtävässä mikroskooppikuvasarjan solut näkyivät vuoroin tarkkoina ja vuoroin epätarkkoina. GPT‑5.6 Sol etsi biologista selitystä solujen näennäiselle katoamiselle, mutta GPT‑6 Astra tunnisti oikein z-pinon eli eri syvyyksiltä otettujen kuvien sarjan.

Paremmat vertailutestitulokset eivät vielä tarkoita, että mallit pystyvät tekemään luotettavia arvioita laboratoriossa. Nämä Astraa koskevat esimerkit osoittavat, miten oletukset, odotetut vastaukset ja annetut merkinnät voivat syrjäyttää aineiston antaman näytön ja miten oikea välihavainto voi jäädä vaikuttamatta lopulliseen päätökseen.

Astra antaa tutun oletuksen syrjäyttää kokeen kontrollien tukeman tulkinnan. Se erottaa pesäkenäytteiden juovista kaksi ryhmää mutta olettaa, että suurempi PCR-tuote osoittaisi kloonauksen onnistuneen. Tällä perusteella se ehdottaa kaistoja 4, 6, 7 ja 8, kun taas vertailuvastauksen kontrollivertailussa valitaan kaistat 5, 9 ja 10.

Astra sivuuttaa havainnot, jotka ovat ristiriidassa sen suosiman tulkinnan kanssa. Se päättelee, että vakuolit eli solujen sisäiset lokerot ovat yleensä ympäröivää solua tummempia, vaikka osa niistä näyttää samassa kuvassa vaaleammilta. Molemmat havainnot ovat tärkeitä: mikroskoopin tarkennuksen muuttaminen voi kääntää kontrastin, joten tummemmista esimerkeistä ei voi johtaa yleistä sääntöä.

Astran laskentamerkinnät eivät vastaa luotettavasti yksittäisiä pesäkkeitä: se ei erota lähekkäisiä pesäkkeitä, jättää näkyviä pesäkkeitä laskematta ja merkitsee tyhjää agaria. Tällä maljalla lopputulos on noin 12 %:n yliarvio vertailutestin vertailuarvoon nähden.

Epätarkka pesäkeluku vaikuttaa suoraan arvioon siitä, miten tehokkaasti DNA saatiin siirrettyä soluihin. Kun maljalle levitetty tilavuus ja laimennus pysyvät samoina, liian suuri pesäkeluku kasvattaa tätä arviota samassa suhteessa.

Biologisen tutkimuksen nopeuttaminen edellyttää, että päivittäinen työ tehdään oikein. BioBasicsBench nostaa tämän työn kehityskohteeksi: kokeiden raakadatan tulkinnan, kontrollien tarkistamisen ja sen tunnistamisen, milloin johtopäätökselle ei ole riittävää tukea. Edistyminen näissä tehtävissä voisi vähentää tutkijoiden ongelmanratkaisuun käyttämää aikaa ja antaa enemmän aikaa seuraavien kokeiden valintaan. Näiden kykyjen seuraaminen auttaa meitä myös ymmärtämään niiden vaikutuksia bioturvallisuuteen ja bioturvaamiseen.