Meriame, ako AI agenti zvládajú bežnú prácu v experimentálnom laboratóriu

Naším poslaním je zabezpečiť, aby všeobecná umelá inteligencia prinášala úžitok celému ľudstvu. V rámci tohto poslania chceme vedcom pomáhať urýchľovať biologický výskum – od pochopenia chorôb až po vývoj nových liečebných postupov. Aby k tomu mohli prispieť aj AI agenti, musia spoľahlivo interpretovať experimentálne dáta, s ktorými vedci denne pracujú v laboratóriách pri pokusoch s biologickými vzorkami. Každodenná práca v experimentálnom laboratóriu zahŕňa nevydarené experimenty, nejednoznačné snímky aj protichodné pozorovania. Existujúce benchmarky založené na grafoch a snímkach vybraných do vedeckých článkov nemusia zachytiť túto nejednoznačnosť ani riešenie problémov, ktoré si vyžaduje. Preto predstavujeme BioBasicsBench, nový benchmark vyvinutý v spolupráci s biotechnologickou spoločnosťou Ligo, ktorá sa zameriava na návrh enzýmov. Meria, ako dobre agenti zvládajú bežné analýzy v experimentálnom laboratóriu.

Jeho 100 úloh testuje, či agenti dokážu interpretovať nespracované experimentálne dáta, identifikovať chyby a rozpoznať, keď dáta nepostačujú na podloženie záveru. Na správnom riešení týchto úloh záleží: nesprávne prečítanie snímky alebo prehliadnutie problému s kontrolnými vzorkami používanými na overenie výsledkov môže vedcov priviesť k chybnému záveru a k experimentom, ktoré im nepomôžu zodpovedať ich otázku.

Pri nastavení „xhigh“, ktoré umožňuje viac uvažovania pri každej úlohe, získala GPT‑6 Astra v priemere 66,7 % z maximálneho počtu bodov, zatiaľ čo GPT‑5.6 Sol získal 43,8 %. Výsledky ukazujú pokrok v bežných laboratórnych analýzach, no aj priestor na ďalšie zlepšovanie v interpretácii snímok, preverovaní kontrolných vzoriek a zohľadňovaní kontextu experimentu.

BioBasicsBench využíva nespracované experimentálne dáta – od snímok gélov a platní s kolóniami až po mikroskopické snímky a údaje z prístrojov.

BioBasicsBench obsahuje 100 úloh z piatich oblastí bežnej experimentálnej laboratórnej práce: proteínové metódy, zobrazovanie a cytometria, kvantifikácia a testy, metódy práce s nukleovými kyselinami a molekulárne klonovanie. Úlohy siahajú od jednoduchých požiadaviek, ako je odčítanie molekulovej hmotnosti vzorky DNA v géli, až po podrobné analýzy testov. Všetky však zahŕňajú bežnú prácu, ktorú by vedci v experimentálnych laboratóriách mali spoľahlivo zvládať.

Vedci vytvorili úlohy z dát zo svojich vlastných experimentov a ku každej otázke priradili hodnotiace kritériá vypracované odborníkmi. Každú úlohu interne posúdil vedec zo spoločnosti Ligo, ktorý nebol jej autorom. Potom ju externe posúdil vedec s doktorátom pracujúci v experimentálnom laboratóriu a napokon prešla záverečným interným posúdením.

Agenti vracajú štruktúrovanú odpoveď s požadovaným záverom, meraním alebo odporúčaním a tam, kde sa to vyžaduje, aj s podporným uvažovaním. Odpovede získavajú body za jednotlivé hodnotiace kritériá, vďaka čomu benchmark dokáže rozlíšiť správny záver od čiastočne správnej analýzy. Väčšina úloh testuje viacero schopností naraz vrátane biologických znalostí, interpretácie snímok a iných dát, odhaľovania chýb a porozumenia protokolom.

Vstupy zachovávajú podoby dát, s ktorými vedci pracujú: snímky gélov a blotov, fotografie platní, série mikroskopických snímok, sekvenačné čítania, exporty z čítačky mikrotitračných platničiek a videá laboratórnej práce. Jedna úloha môže zahŕňať niekoľko typov dát. Referenčné prehľady, ako sú schémy veľkostných markerov a plazmidové mapy, pomáhajú pri interpretácii experimentálnych dát.

Vedci zostavili úlohy z dát zo svojich vlastných experimentov, pričom experimentálne dáta doplnili otázkou a hodnotiacou schémou vypracovanou odborníkom. Každú úlohu interne posúdil vedec zo spoločnosti Ligo, ktorý nebol jej autorom. Potom ju externe posúdil vedec s doktorátom pracujúci v experimentálnom laboratóriu a napokon prešla záverečným interným posúdením. Posudzovatelia skontrolovali príkaz, experimentálne dáta, hodnotiacu schému, poznámky autora a ohodnotený pokus modelu.

Odpovede sa bodujú podľa hodnotiacej schémy úlohy, ktorá prideľuje body jednotlivým kritériám. V závislosti od úlohy tieto kritériá posudzujú záver, číselné výsledky, podporné uvažovanie alebo rozpoznanie, že dáta nie sú dostatočné.

V benchmarku BioBasicsBench sme vyhodnotili sedem modelov: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna a GPT‑6 Astra. Hodnotenie zahŕňa 37 kombinácií modelov a nastavení intenzity uvažovania. Pri každej kombinácii mal model päť pokusov na každú zo 100 úloh, čo spolu predstavuje 18 500 výsledkov.

Uvádzame priemernú odmenu: priemerné skóre úloh vyjadrené ako percento z maximálneho počtu bodov. Chybové úsečky znázorňujú 95 % intervaly spoľahlivosti vypočítané opakovaným výberom celých úloh, pričom päť pokusov každej úlohy zostáva spolu.

GPT‑6 Astra dosahuje výrazne lepšie výsledky než GPT‑5.6 Sol, a to aj pri nízkej intenzite uvažovania. Tieto zlepšenia naznačujú, že silnejšie natívne multimodálne schopnosti môžu byť kľúčom k lepšiemu výkonu pri bežných analýzach v experimentálnych laboratóriách.

Častou nástrahou vo vede je vyvodzovanie záverov, ktoré presahujú výpovednú hodnotu dát, najmä vzhľadom na povahu skreslenia vznikajúceho pri testovaní hypotézy. Astra preukázala lepšiu schopnosť rozpoznať hranice toho, čo dáta ukazujú, a nevyvodzovať nepodložené závery.

V tomto príklade model GPT‑5.6 Sol označil bunky za mŕtve na základe signálu farbiva používaného na detekciu mŕtvych buniek. Detektor však mohol zachytiť aj svetlo z druhého farbiva, takže samotný jas na takýto záver nestačil. Astra túto nejednoznačnosť rozpoznala a požadovala lepšie kontrolné vzorky na rozlíšenie signálov.

Vedecký výskum je výrazne multimodálny a vyžaduje si neustále interpretovanie vizuálnych informácií a rozhodovanie. Astra sa výrazne zlepšila v spracovaní multimodálnych dát dodaných vo forme fotografií a videí, ako aj nespracovaných výstupov zo sekvenovania, testov na čítačke mikrotitračných platničiek, mikroskopie a prietokovej cytometrie.

Na najzákladnejšej úrovni sa toto zlepšenie prejavilo tým, že GPT‑6 Astra dokázala zachytiť jemnejšie detaily na snímkach z experimentov, a tak vyvodiť presnejšie závery, ako ukazuje tento príklad. V tejto úlohe mali agenti vyvodiť závery z experimentu s klonovaním DNA, pri ktorom sú kontrolné vzorky nevyhnutné. GPT‑5.6 Sol na negatívnej kontrolnej platni nevidel žiadne kolónie a na tomto pozorovaní založil svoje závery. GPT‑6 Astra si všimla, že platňa je označená nesprávnym antibiotikom, a správne ju odmietla ako spoľahlivú kontrolu.

Aby vedci správne interpretovali dáta, musia pri ich analýze zohľadňovať tacitné biologické znalosti aj kontext experimentu. Astra preukázala lepšiu schopnosť zachovať si tento kontext a uplatňovať ho počas celej analýzy.

Jedna úloha zobrazovala sériu mikroskopických snímok, na ktorých sa bunky striedavo zaostrovali a rozostrovali. Kým GPT‑5.6 Sol hľadal biologické vysvetlenie zdanlivého miznutia buniek, GPT‑6 Astra správne rozpoznala sériu snímok v osi z: snímky zhotovené v rôznych hĺbkach.

Vyššie skóre v benchmarku zatiaľ neznamená, že modely dokážu v laboratóriu spoľahlivo vyhodnocovať situácie. Tieto príklady modelu Astra ukazujú, ako môžu predpoklady, očakávané odpovede a dodané označenia prevážiť nad dôkazmi a ako ani správne priebežné pozorovanie nemusí ovplyvniť konečné rozhodnutie.

Astra nechá zaužívaný predpoklad prevážiť nad interpretáciou podloženou experimentálnymi kontrolnými vzorkami. Dokáže rozlíšiť dve skupiny pásov zo vzoriek kolónií, no predpokladá, že väčší PCR produkt by znamenal úspešné klonovanie. Na základe tohto predpokladu navrhuje dráhy 4, 6, 7 a 8; referenčné riešenie však na základe porovnania s kontrolnými vzorkami vyberá dráhy 5, 9 a 10.

Astra zľahčuje pozorovania, ktoré odporujú jej uprednostňovanej interpretácii. Vyvodzuje, že vakuoly, vnútrobunkové kompartmenty, sú vo všeobecnosti tmavšie než okolitá časť bunky, hoci niektoré na tej istej snímke vyzerajú svetlejšie. Oba vzhľady sú dôležité: zmena zaostrenia mikroskopu môže obrátiť kontrast, takže tmavšie príklady nepotvrdzujú všeobecné pravidlo.

Značky započítania modelu Astra nezodpovedajú spoľahlivo jednotlivým kolóniám: model nedokáže rozlíšiť blízke susedné kolónie, prehliada viditeľné kolónie a označuje prázdny agar. Výsledkom je na tejto platni približne o 12 % vyšší počet oproti referenčnej hodnote benchmarku.

Nepresný počet kolónií priamo ovplyvňuje odhad účinnosti zavedenia DNA do buniek. Pri nezmenenom objeme nanesenom na platňu a rovnakom riedení nadhodnotený počet zvýši tento odhad o rovnaký podiel.

Urýchlenie biologického výskumu si vyžaduje správne zvládanie každodennej práce. BioBasicsBench sa zameriava na zlepšovanie tejto práce: interpretáciu nespracovaných experimentálnych dát, preverovanie kontrolných vzoriek a rozpoznanie nepodložených záverov. Pokrok v týchto úlohách by mohol vedcom pomôcť tráviť menej času riešením problémov a viac času rozhodovaním o ďalších experimentoch. Sledovanie týchto schopností nám tiež pomôže pochopiť ich dôsledky pre biologickú bezpečnosť a ochranu pred zneužitím biologických materiálov.