Како меримо рад AI агената на свакодневним лабораторијским задацима

Наша мисија је да осигурамо да општа вештачка интелигенција користи целом човечанству. У оквиру те мисије желимо да помогнемо научницима да убрзају биолошка истраживања – од разумевања болести до развоја нових терапија. Да би AI агенти могли да допринесу, морају поуздано да тумаче експерименталне доказе са којима научници свакодневно раде у лабораторијама, где изводе експерименте са биолошким узорцима. Свакодневни рад у експерименталној лабораторији укључује неуспеле експерименте, двосмислене слике и противречна запажања. Постојећи референтни тестови, засновани на графиконима и сликама одабраним за научне радове, могу да превиде ову двосмисленост и решавање проблема које она захтева. Зато представљамо BioBasicsBench, нови референтни тест развијен са предузећем Ligo, биотехнолошким предузећем усмереним на дизајн ензима, који мери колико добро агенти обављају рутинске лабораторијске анализе.

Сто задатака овог теста проверава да ли агенти могу да тумаче сирове експерименталне податке, откривају грешке и препознају када докази нису довољни за закључак. Важно је да се ови задаци исправно реше, јер погрешно тумачење слике или превиђање проблема са контролама којима се проверавају резултати експеримента може навести научнике да изведу погрешан закључак и троше време на експерименте који неће помоћи да одговоре на своје питање.

На поставци „xhigh”, која омогућава више резоновања по задатку, GPT‑6 Astra освојио је у просеку 66,7% могућих бодова, у поређењу са 43,8% за GPT‑5.6 Sol. Резултати показују напредак у рутинским лабораторијским анализама, уз простор за даља побољшања у тумачењу слика, провери контрола и примени контекста експеримента.

BioBasicsBench користи сирове експерименталне доказе, од слика гелова и плоча са колонијама до микроскопских снимака и очитавања инструмената.

BioBasicsBench има 100 задатака из пет области рутинског лабораторијског рада: методе за рад са протеинима, снимање и цитометрија, квантификација и тестови, методе за рад са нуклеинским киселинама и молекуларно клонирање. Задаци се крећу од једноставних захтева, попут очитавања молекулске масе узорка ДНК у гелу, до детаљне анализе тестова, али сви обухватају рутински рад који би научници у експерименталним лабораторијама требало поуздано да обављају.

Научници су осмислили задатке користећи податке из сопствених експеримената и уз свако питање приложили критеријуме оцењивања које су написали стручњаци. Сваки задатак прошао је интерну проверу научника из предузећа Ligo који није његов аутор, спољну проверу научника са докторатом који ради у експерименталној лабораторији и завршну интерну проверу.

Агенти дају структуриран одговор са траженим закључком, мерењем или препоруком и, када је то потребно, резоновањем које их поткрепљује. Одговори добијају бодове према појединачним критеријумима оцењивања, што омогућава тесту да разликује исправан закључак од делимично исправне анализе. Већина задатака истовремено проверава више вештина, укључујући биолошко знање, тумачење слика и других података, откривање грешака и разумевање протокола.

Улазни подаци задржавају облике доказа са којима научници раде: слике гелова и блотова, фотографије плоча, серије микроскопских слика, очитавања секвенцирања, податке извезене са читача микроплоча и видео-снимке лабораторијског рада. Један задатак може да обухвати више врста података. Референтни листови, попут шема маркера молекулске масе и мапа плазмида, помажу у тумачењу експерименталних доказа.

Научници су написали задатке користећи податке из сопствених експеримената, повезујући експерименталне доказе са питањем и шемом оцењивања коју су саставили стручњаци. Сваки задатак прошао је интерну проверу научника из предузећа Ligo који није његов аутор, спољну проверу научника са докторатом који ради у експерименталној лабораторији и завршну интерну проверу. Рецензенти су проверили инструкцију, експерименталне доказе, шему оцењивања, белешке аутора и оцењени покушај модела.

Одговори се оцењују према шеми за тај задатак, која додељује бодове појединачним критеријумима. У зависности од задатка, ови критеријуми оцењују закључак, нумеричке резултате, резоновање које их поткрепљује или препознавање да докази нису довољни.

На тесту BioBasicsBench оценили смо седам модела: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna и GPT‑6 Astra. Евалуација обухвата 37 комбинација модела и нивоа напора при резоновању, са по пет покушаја за сваки од 100 задатака у свакој комбинацији, што даје укупно 18.500 резултата.

Приказујемо просечну награду: просечан резултат на задацима, изражен као проценат могућих бодова. Линије грешке приказују интервале поверења од 95%, израчунате поновним узорковањем целих задатака, при чему се пет покушаја за сваки задатак задржава заједно.

GPT‑6 Astra остварује знатно боље резултате од модела GPT‑5.6 Sol, чак и уз низак напор при резоновању. Ова побољшања указују на то да снажније уграђене мултимодалне способности могу бити кључне за боље резултате у свакодневним лабораторијским анализама.

Честа замка у науци је извођење закључака који превазилазе оно што подаци показују, нарочито због природе пристрасности која се јавља при провери хипотезе. Модел Astra показао је бољу способност да препозна границе онога што подаци показују и избегне неутемељене закључке.

У овом примеру, GPT‑5.6 Sol је класификовао ћелије као мртве на основу сигнала боје која се користи за откривање мртвих ћелија. Међутим, детектор је могао да региструје и светлост друге боје, па сама јачина сигнала није била довољна за такав закључак. Модел Astra препознао је ову двосмисленост и затражио боље контроле како би се сигнали раздвојили.

Научно истраживање је изразито мултимодално и захтева стално тумачење визуелних података и доношење одлука. Модел Astra показао је знатан напредак у обради мултимодалних података датих у облику фотографија и видео-снимака, као и сирових резултата секвенцирања, тестова на читачу микроплоча, микроскопије и проточне цитометрије.

На најосновнијем нивоу, ово побољшање видело се у способности модела GPT‑6 Astra да уочи ситније детаље на сликама насталим током експеримената и тако изведе тачније закључке, као што показује овај пример. У овом задатку агенти су морали да изведу закључке из експеримента клонирања ДНК, у ком су контроле неопходне. GPT‑5.6 Sol није уочио колоније на плочи негативне контроле и на том запажању је засновао закључке. GPT‑6 Astra је приметио да је на плочи означен погрешан антибиотик и исправно је одбацио као поуздану контролу.

Да би исправно протумачили податке, научници током анализе морају имати на уму прећутно биолошко знање и контекст експеримента. Модел Astra показао је бољу способност да задржи тај контекст и примењује га током целе анализе.

Један задатак приказивао је ћелије које у низу микроскопских слика улазе у фокус и излазе из њега. Док је GPT‑5.6 Sol тражио биолошко објашњење за привидан нестанак ћелија, GPT‑6 Astra је исправно препознао серију слика по дубини: низ снимака начињених на различитим дубинама.

Бољи резултати на референтним тестовима још не значе да модели могу поуздано да просуђују у лабораторији. Ови примери модела Astra показују како претпоставке, очекивани одговори и дате ознаке могу да превагну над доказима и како исправно запажање током анализе може да остане без утицаја на коначну одлуку.

Модел Astra даје предност познатој претпоставци у односу на тумачење поткрепљено експерименталним контролама. Може да разликује две групе трака добијених из колонија, али претпоставља да би већи PCR производ указивао на успешно клонирање. Под том претпоставком предлаже стазе 4, 6, 7 и 8; поређење са контролама у референтном одговору, међутим, издваја стазе 5, 9 и 10.

Модел Astra занемарује запажања која противрече његовом одабраном тумачењу. Закључује да су вакуоле, одељци унутар ћелија, углавном тамније од околног дела ћелије, иако неке на истој слици изгледају светлије. Оба изгледа су важна: промена фокуса микроскопа може да обрне контраст, па се на основу тамнијих примера не може утврдити опште правило.

Ознаке за бројање модела Astra не одговарају поуздано појединачним колонијама: модел не раздваја блиске суседне колоније, пропушта видљиве колоније и означава агар без колонија. Коначан резултат на овој плочи је број колонија приближно 12% већи од референтног броја у тесту.

Нетачан број колонија директно утиче на процену ефикасности уношења ДНК у ћелије. При истој засејаној запремини и разблажењу, превелик број колонија повећава ту процену за исти проценат.

Убрзавање биолошких истраживања захтева да се свакодневни послови обављају исправно. BioBasicsBench усмерава побољшања на тај рад: тумачење сирових експерименталних података, проверу контрола и препознавање када закључак није поткрепљен. Напредак на овим задацима могао би да помогне научницима да мање времена троше на решавање проблема, а више на одлучивање о томе које експерименте да предузму следеће. Праћење ових способности помоћи ће нам и да разумемо њихове последице по биолошку безбедност и биолошку сигурност.