Hogyan boldogulnak az MI-ügynökök a mindennapi kísérletes laboratóriumi munkával?

Küldetésünk, hogy a mesterséges általános intelligencia az egész emberiség javát szolgálja. Ennek részeként szeretnénk segíteni a tudósokat a biológiai kutatás felgyorsításában – a betegségek megértésétől az új kezelések kifejlesztéséig. Ahhoz, hogy az MI-ügynökök hozzájárulhassanak ehhez, megbízhatóan kell értelmezniük azokat a kísérleti bizonyítékokat, amelyekkel a kutatók nap mint nap dolgoznak a biológiai mintákkal kísérletező laboratóriumokban. A mindennapi kísérletes laboratóriumi munkához sikertelen kísérletek, nem egyértelmű képek és egymásnak ellentmondó megfigyelések is hozzátartoznak. A meglévő teljesítménytesztek tudományos publikációkhoz kiválasztott ábrákra és képekre épülnek, így nem feltétlenül ragadják meg ezt a bizonytalanságot és az általa megkövetelt hibaelhárítást. Ezért mutatjuk be a BioBasicsBench új teljesítménytesztet, amelyet az enzimtervezésre szakosodott Ligo biotechnológiai vállalattal közösen fejlesztettünk ki. A teszt azt méri, mennyire boldogulnak az ügynökök a rutinszerű kísérletes laboratóriumi elemzésekkel.

A teszt 100 feladata azt vizsgálja, hogy az ügynökök képesek-e értelmezni a nyers kísérleti adatokat, azonosítani a hibákat, és felismerni, amikor a bizonyítékok nem támasztanak alá egy következtetést. Fontos, hogy ezeket a feladatokat helyesen oldják meg: egy kép félreértelmezése vagy a kísérleti eredmények ellenőrzésére használt kontrollok hibájának figyelmen kívül hagyása téves következtetésekhez vezethet, és a kutatók olyan kísérletekre pazarolhatják az idejüket, amelyek nem segítenek megválaszolni a kérdésüket.

A feladatonként több érvelést engedő „xhigh” beállításon a GPT‑6 Astra átlagosan az elérhető pontszám 66,7%-át szerezte meg, szemben a GPT‑5.6 Sol 43,8%-ával. Az eredmények előrelépést mutatnak a rutinszerű laboratóriumi elemzésben, miközben a képértelmezés, a kontrollok ellenőrzése és a kísérleti kontextus figyelembevétele terén még van lehetőség a fejlődésre.

A BioBasicsBench nyers kísérleti bizonyítékokat használ, a gélképektől és a telepeket tartalmazó lemezektől a mikroszkópos felvételekig és a műszerek mérési adataiig.

A BioBasicsBench 100 feladata a rutinszerű kísérletes laboratóriumi munka öt területét fedi le: fehérjevizsgálati módszerek, képalkotás és citometria, mennyiségi meghatározás és vizsgálatok, nukleinsav-vizsgálati módszerek, valamint molekuláris klónozás. A feladatok az egyszerű kérésektől – például egy DNS-minta molekulatömegének leolvasásától egy gélen – a vizsgálatok részletes elemzéséig terjednek, de mind olyan rutinfeladat, amelyet a kísérletes laboratóriumban dolgozó kutatóknak megbízhatóan el kell tudniuk végezni.

A kutatók saját kísérleti adataikból állították össze a feladatokat, és minden kérdéshez szakértők által kidolgozott értékelési szempontokat rendeltek. Minden feladatot először a Ligo egy olyan kutatója ellenőrzött belső felülvizsgálat keretében, aki nem vett részt a megírásában. Ezt egy kísérletes laboratóriumban dolgozó, PhD-fokozatú kutató külső felülvizsgálata, majd egy végső belső ellenőrzés követte.

Az ügynökök strukturált választ adnak, amely tartalmazza a kért következtetést, mérési eredményt vagy ajánlást, és szükség esetén az azt alátámasztó érvelést is. A válaszok az értékelési útmutató egyes szempontjai szerint kapnak pontot, így a teszt meg tudja különböztetni a helyes következtetést a részben helyes elemzéstől. A legtöbb feladat egyszerre több készséget tesztel, köztük a biológiai tudást, a képek és más adatok értelmezését, a hibafelismerést és a protokollok megértését.

A bemeneti adatok megőrzik a kutatók által használt bizonyítékok eredeti formáját: gél- és blotképeket, lemezfotókat, mikroszkópos képsorozatokat, szekvenálási leolvasásokat, mikrolemez-olvasóból exportált adatokat és a laborasztalnál végzett munkáról készült videókat. Egy feladat többféle adatot is tartalmazhat. A kísérleti bizonyítékok értelmezését referencialapok, például méretmarker-ábrák és plazmidtérképek segítik.

A kutatók saját kísérleti adataikból írták a feladatokat, a kísérleti bizonyítékokhoz egy kérdést és szakértő által kidolgozott értékelési útmutatót társítva. Minden feladatot először a Ligo egy olyan kutatója ellenőrzött belső felülvizsgálat keretében, aki nem vett részt a megírásában. Ezt egy kísérletes laboratóriumban dolgozó, PhD-fokozatú kutató külső felülvizsgálata, majd egy végső belső ellenőrzés követte. A felülvizsgálók ellenőrizték az utasítást, a kísérleti bizonyítékokat, az értékelési útmutatót, a szerző megjegyzéseit és a modell egy már pontozott próbálkozását.

A válaszokat a feladat értékelési útmutatója alapján pontozzák, amely az egyes szempontokhoz külön pontszámot rendel. A feladattól függően ezek a szempontok a következtetést, a számszerű eredményeket, az alátámasztó érvelést vagy a bizonyítékok elégtelenségének felismerését értékelik.

Hét modellt értékeltünk a BioBasicsBench teszten: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna és GPT‑6 Astra. Az értékelés a modellek és az érvelési ráfordítás 37 különböző kombinációját fedi le, beállításonként mind a 100 feladaton öt próbálkozással, összesen 18 500 eredménnyel.

Az átlagos jutalmat közöljük: ez a feladatokra kapott átlagos pontszám, az elérhető pontszám százalékában kifejezve. A hibasávok 95%-os konfidenciaintervallumokat mutatnak, amelyeket teljes feladatok újramintavételezésével számítottunk ki, az egyes feladatokhoz tartozó öt próbálkozást együtt tartva.

A GPT‑6 Astra még alacsony érvelési ráfordítás mellett is lényegesen jobban teljesít a GPT‑5.6 Sol modellnél. Ezek az előrelépések arra utalnak, hogy a fejlettebb natív multimodális képességek kulcsfontosságúak lehetnek a mindennapi kísérletes laboratóriumi elemzésekben nyújtott teljesítmény javításához.

A tudományban gyakori csapda az adatok túlértelmezése, különösen a hipotézisek tesztelésekor fellépő torzítások miatt. Az Astra jobban felismerte, meddig terjed az adatokból levonható következtetések köre, és jobban elkerülte a megalapozatlan következtetéseket.

Ebben a példában a GPT‑5.6 Sol elhaltnak minősített sejteket egy elhalt sejtek kimutatására használt festék jele alapján. A detektor azonban egy másik festék fényét is érzékelhette, így a fényesség önmagában nem indokolta ezt a következtetést. Az Astra felismerte ezt a bizonytalanságot, és megfelelőbb kontrollokat kért a jelek elkülönítéséhez.

A tudományos kutatás erősen multimodális: folyamatos vizuális értelmezést és döntéshozatalt igényel. Az Astra jelentős előrelépést mutatott a multimodális adatok kezelésében, legyen szó fotókról és videókról, vagy szekvenálásból, mikrolemez-olvasós vizsgálatokból, mikroszkópiából és áramlási citometriából származó nyers adatokról.

Ez a javulás már abban is megmutatkozott, hogy a GPT‑6 Astra finomabb részleteket vett észre a kísérletek során készült képeken, és így pontosabb következtetéseket vont le, ahogy ez a példa is mutatja. Ebben a feladatban az ügynököknek egy DNS-klónozási kísérletből kellett következtetéseket levonniuk, ahol a kontrollok nélkülözhetetlenek. A GPT‑5.6 Sol nem látott telepeket a negatív kontrolllemezen, és erre a megfigyelésre alapozta a következtetéseit. A GPT‑6 Astra észrevette, hogy a lemez feliratán nem a megfelelő antibiotikum szerepel, és helyesen elutasította, hogy megbízható kontrollként használja.

A kutatóknak az adatelemzés során szem előtt kell tartaniuk hallgatólagos biológiai tudásukat és a kísérleti körülményeket, hogy helyesen értelmezzék az adatokat. Az Astra jobban megőrizte ezt a kontextust, és következetesebben alkalmazta az elemzés során.

Az egyik feladat mikroszkópos képsorozatán a sejtek hol élesen, hol életlenül látszottak. Míg a GPT‑5.6 Sol biológiai magyarázatot keresett a sejtek látszólagos eltűnésére, a GPT‑6 Astra helyesen felismerte a z-sorozatot: a különböző mélységekben készült képek sorozatát.

A jobb teszteredmények még nem jelentik azt, hogy a modellek megbízhatóan tudnak ítéletet alkotni a laboratóriumban. Az Astra alábbi példái megmutatják, hogyan írhatják felül a bizonyítékokat a feltételezések, a várt válaszok és a megadott címkék, illetve hogyan maradhat hatástalan egy helyes köztes megfigyelés a végső döntésben.

Az Astra hagyja, hogy egy megszokott feltételezés felülírja a kísérleti kontrollok által alátámasztott értelmezést. Meg tudja különböztetni a telepminták sávjainak két csoportját, de azt feltételezi, hogy a nagyobb PCR-termék jelzi a sikeres klónozást. E feltételezés alapján a 4., 6., 7. és 8. gélsávot javasolja; a referencia kontrollokkal való összehasonlítása ehelyett az 5., 9. és 10. gélsávot választja.

Az Astra leértékeli az előnyben részesített értelmezésének ellentmondó megfigyeléseket. Arra a következtetésre jut, hogy a vakuólák – a sejten belüli elkülönült terek – általában sötétebbek a sejt környező részénél, holott ugyanazon a képen néhány világosabbnak látszik. Mindkét megjelenés számít: a mikroszkóp fókuszának változtatása megfordíthatja a kontrasztot, így a sötétebb példákból nem állapítható meg általános szabály.

Az Astra számlálási jelölései nem feleltethetők meg megbízhatóan az egyes telepeknek: nem különíti el a közeli szomszédokat, látható telepeket hagy ki, és üres agarfelületet jelöl meg. Ezen a lemezen összességében körülbelül 12%-kal több telepet számol a teszt referenciaértékénél.

A pontatlan telepszám közvetlenül befolyásolja annak becslését, hogy milyen hatékonyan sikerült DNS-t bejuttatni a sejtekbe. Változatlan kioltott térfogat és hígítás mellett a telepszám túlbecslése ugyanilyen arányban növeli ezt a becslést.

A biológiai kutatás felgyorsításához a mindennapi munkát is helyesen kell elvégezni. A BioBasicsBench ezt a munkát teszi a fejlesztés célpontjává: a nyers kísérleti adatok értelmezését, a kontrollok ellenőrzését és annak felismerését, ha egy következtetés nincs alátámasztva. Az e feladatokban elért fejlődés segíthet abban, hogy a kutatók kevesebb időt töltsenek hibaelhárítással, és többet annak eldöntésével, mely kísérleteket végezzék el következőként. E képességek nyomon követése abban is segít, hogy megértsük a biológiai biztonságra és a biológiai védelemre gyakorolt hatásukat.