Как измерваме справянето на AI агентите с ежедневната лабораторна работа
Представяме BioBasicsBench — тест, който измерва колко добре AI агентите тълкуват сурови експериментални данни в 100 рутинни лабораторни задачи.
Нашата мисия е да гарантираме, че изкуственият общ интелект носи полза на цялото човечество. Като част от тази мисия искаме да помогнем на учените да ускорят биологичните изследвания — от разбирането на болестите до разработването на нови лечения. За да допринасят за това, AI агентите трябва надеждно да тълкуват експерименталните данни, с които учените работят всеки ден в лабораториите, където провеждат експерименти с биологични проби. Ежедневната лабораторна работа включва неуспешни експерименти, нееднозначни изображения и противоречиви наблюдения. Съществуващите тестове за оценяване, изградени около графики и изображения, подбрани за научни публикации, може да не отразяват тази нееднозначност и необходимостта от откриване и отстраняване на проблеми. Затова представяме BioBasicsBench — нов тест за оценяване, разработен съвместно с Ligo, биотехнологична компания, специализирана в проектирането на ензими. Той измерва колко добре агентите се справят с рутинния лабораторен анализ.
Стоте задачи в теста проверяват дали агентите могат да тълкуват сурови експериментални данни, да откриват грешки и да разпознават кога данните не са достатъчни за заключение. Правилното решаване на тези задачи е важно: погрешното разчитане на изображение или пропускането на проблем с контролите, използвани за проверка на резултатите, може да доведе учените до грешно заключение и да ги накара да губят време с експерименти, които няма да помогнат да отговорят на въпроса си.
При настройката „xhigh“, която позволява повече структурирано анализиране за всяка задача, GPT‑6 Astra постигна средно 66,7% от максималния брой точки спрямо 43,8% за GPT‑5.6 Sol. Резултатите показват напредък в рутинния лабораторен анализ, като оставят възможност за допълнителни подобрения в тълкуването на изображения, проверката на контролите и отчитането на експерименталния контекст.
BioBasicsBench използва сурови експериментални данни — от изображения на гелове и петриеви панички с колонии до микроскопски изображения и показания на апаратура.
BioBasicsBench включва 100 задачи в пет области на рутинната лабораторна работа: методи за изследване на белтъци, образни методи и цитометрия, количествено определяне и анализи, методи за изследване на нуклеинови киселини и молекулярно клониране. Задачите варират от прости заявки, като определяне на молекулното тегло на ДНК проба в гел, до подробно тълкуване на лабораторни анализи. Всички обаче включват рутинна работа, която учените в експериментални лаборатории би трябвало да изпълняват надеждно.
Учени създадоха задачите с данни от собствените си експерименти, като към всеки въпрос добавиха критерии за оценяване, изготвени от експерти. Всяка задача премина през вътрешна проверка от учен в Ligo, който не е неин автор, външна проверка от учен с докторска степен, работещ в експериментална лаборатория, и окончателна вътрешна проверка.
Агентите връщат структуриран отговор с поисканото заключение, измерване или препоръка и, когато се изисква, подкрепящо структурирано анализиране. Отговорите получават точки по отделни критерии от схемата за оценяване, което позволява на теста да разграничи правилно заключение от частично правилен анализ. Повечето задачи проверяват няколко умения едновременно, включително биологични знания, тълкуване на изображения и други данни, откриване на грешки и разбиране на протоколи.
„Уникални задачи“ отчита всяка задача само веднъж. Колоните за умения отчитат задачите, маркирани със съответното умение. Тези категории се припокриват: една задача може да присъства в няколко колони, затова броят задачи по умения не бива да се сумира, за да се получи общият брой задачи. Цветът обозначава областта; по-наситеният цвят показва по-голям дял от задачите в тази област, които проверяват дадено умение.
Входните данни запазват формите, с които учените работят: изображения на гелове и блотове, снимки на петриеви панички, серии от микроскопски изображения, прочити от секвениране, експортирани данни от четци за микроплаки и видеозаписи на лабораторна работа. Една задача може да включва няколко вида данни. Справочни листове, като схеми на маркери за молекулен размер и плазмидни карти, подпомагат тълкуването на експерименталните данни.
Вид данни | Задачи | Какво включват |
|---|---|---|
Гелове и блотове | 31 | Агарозни гелове с ДНК, SDS-PAGE гелове, уестърн блотове |
Протоколи, бележки и спецификации | 27 | Протоколи и стандартни оперативни процедури, лабораторни дневници и записи от измервания, снимки на ръкописни бележки, каталози, спецификации на апаратура, публикувани методи |
Таблици и експортирани данни от апаратура | 20 | Експортирани данни в CSV и Excel, схеми на пътечките в гела и инвентарни списъци, файлове със сурови данни от поточна цитометрия (FCS) |
Снимки на лабораторни плотове, апаратура и реактиви | 18 | Лабораторни плотове, апарати за гел електрофореза, епруветки с реактиви и култури, PCR плака, стативи за епруветки, pH ленти, концентратор, фризер, работна платформа на автоматизирана система за дозиране на течности |
Микроскопия | 14 | Необработени изображения в светло поле и флуоресцентни изображения, многоканални набори, серии по оста z, видеозаписи от кадри, заснети през определени интервали |
Екрани на апаратура и графики | 13 | Снимки на екрани на поточен цитометър, микроскоп, NanoDrop, четец за микроплаки и везна; експортирани стандартни криви, хроматограми и графики |
Файлове от секвениране | 12 | Необработени FASTQ файлове с дълги прочити, последователности във FASTA, карти в GenBank |
Видеозаписи на изпълнение на протоколи | 7 | Щрихова посявка, инокулиране, серийно разреждане, подготовка на вана за SDS-PAGE и инкубатор, претегляне на везна |
Петриеви панички с агар и колонии | 7 | Петриеви панички след трансформация, синьо-бял скрининг, петриеви панички с антибиотични дискове |
Справочни листове | 21 | Схеми на маркери за молекулен размер, плазмидни карти, pH скали (помощни материали) |
Брой задачи, включващи всеки вид данни. Категориите се припокриват; справочните листове са помощни материали.
Учени съставиха задачите с данни от собствените си експерименти, като към експерименталните данни добавиха въпрос и изготвена от експерт схема за оценяване. Всяка задача премина през вътрешна проверка от учен в Ligo, който не е неин автор, външна проверка от учен с докторска степен, работещ в експериментална лаборатория, и окончателна вътрешна проверка. Проверяващите прегледаха подканата, експерименталните данни, схемата за оценяване, бележките на автора и оценен опит на модел.
Отговорите се оценяват по схемата на задачата, която присъжда точки за отделни критерии. В зависимост от задачата тези критерии оценяват заключението, числените резултати, подкрепящото структурирано анализиране или разпознаването, че данните са недостатъчни.
Оценихме седем модела с BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna и GPT‑6 Astra. Оценяването обхваща 37 комбинации от модел и ниво на усилие за структурирано анализиране, с по пет опита за всяка от 100-те задачи при всяка комбинация — общо 18 500 резултата.
Отчитаме средната награда: средния резултат от задачите, изразен като процент от максималния брой точки. Лентите на грешката показват 95% доверителни интервали, изчислени чрез повторно извадково извличане на цели задачи, като петте опита за всяка задача се запазват заедно.
Средна награда спрямо средния брой изходни токени на задача, показан в логаритмична скала. Всяка точка представлява изпитана настройка на усилието за структурирано анализиране; линиите свързват тези настройки последователно. Стойността по оста x се удвоява при всяко деление. Оранжевите пунктирни линии показват моделите GPT‑5, а сините плътни линии — моделите GPT‑6. Бледите ленти на грешката показват 95% доверителни интервали, изчислени чрез бутстрап върху цели задачи. Всяка настройка включва всичките 100 задачи и по пет опита на задача. Настройките на усилието се различават между моделите.
GPT‑6 Astra значително превъзхожда GPT‑5.6 Sol дори при ниско ниво на усилие за структурирано анализиране. Тези подобрения подсказват, че по-силните вградени мултимодални способности може да са ключови за по-добри резултати при ежедневния лабораторен анализ.
Резултати при усилие за структурирано анализиране xhigh
Модел | Средна награда | 95% ДИ | Изходни токени / задача |
|---|---|---|---|
GPT‑6 Astra | 66,7% | 60,3–73,1% | 4 704 |
GPT‑6.1 Sol | 62,0% | 55,6–68,4% | 5 238 |
GPT‑5.6 Sol | 43,8% | 37,6–50,0% | 9 099 |
GPT‑6 Luna | 38,3% | 32,3–44,5% | 13 120 |
GPT‑5.5 | 35,4% | 29,7–41,0% | 11 135 |
GPT‑5.4 | 33,2% | 28,3–38,4% | 13 717 |
GPT‑5.2 | 31,2% | 26,2–36,3% | 27 620 |
Xhigh е най-високата настройка на усилието за структурирано анализиране, за която са отчетени резултати при всичките седем модела. Всеки ред включва всичките 100 задачи и по пет опита на задача. Резултатите при настройка Max, когато са налични, са включени в графиката по-горе.
Чест капан в науката е да се правят изводи, които надхвърлят данните, особено предвид склонността към предубеденост при проверка на хипотеза. Astra показа по-добра способност да разпознава границите на това, което данните показват, и да не прави необосновани заключения.
В този пример GPT‑5.6 Sol определи клетките като мъртви въз основа на сигнала от багрило за откриване на мъртви клетки. Но детекторът можеше да улавя светлина и от второ багрило, така че яркостта сама по себе си не беше достатъчна за такова заключение. Astra разпозна тази нееднозначност и посочи нуждата от по-добри контроли за разграничаване на сигналите.
Светло поле · преминаваща светлина
Канал 2 · маркиране със SYTOX · 470–540 nm
Канал 3 · FUN-1, зелен сигнал · 525–580 nm
Едни и същи области с клетки в три канала; диапазоните на детекция се припокриват при 525–540 nm. Общият диапазон допуска взаимно влияние на сигналите, чиято величина не е измерена. Всеки канал е показан с отделна линейна скала за интензитет, еднаква за двете области; яркостта не може да се сравнява количествено между каналите.
Научните изследвания използват множество видове данни и изискват непрекъснато тълкуване на визуална информация и вземане на решения. Astra показа значително подобрение в работата с мултимодални данни, предоставени като снимки и видеозаписи, както и със сурови резултати от секвениране, анализи с четец за микроплаки, микроскопия и поточна цитометрия.
На най-базово ниво това подобрение се виждаше в способността на GPT‑6 Astra да забелязва по-фини детайли в изображения от експерименти и така да прави по-точни заключения, както показва този пример. В тази задача агентите трябваше да направят изводи от експеримент за клониране на ДНК, при който контролите са от съществено значение. GPT‑5.6 Sol не видя колонии в петриевата паничка с отрицателната контрола и основа заключенията си на това наблюдение. GPT‑6 Astra забеляза, че на паничката е изписан грешният антибиотик, и правилно я отхвърли като ненадеждна контрола.
Оригинална снимка
Надписът по ръба
Оригиналната снимка от теста, с ограден и увеличен надпис по ръба. „LB Kan50“ обозначава канамицин — антибиотик, различен от използвания в експеримента ампицилин.
За да тълкуват правилно данните, учените трябва при анализа им да имат предвид както неявните си биологични знания, така и контекста на експеримента. Astra показа по-добра способност да запазва този контекст и да го прилага през целия анализ.
Една задача показваше клетки, които влизат и излизат от фокус в поредица от микроскопски изображения. Докато GPT‑5.6 Sol търсеше биологично обяснение за привидното изчезване на клетките, GPT‑6 Astra правилно разпозна серия по оста z: поредица от изображения, заснети на различни дълбочини.
0 сек
3 сек
6 сек
9 сек
12 сек
15 сек
Шест кадъра от оригиналния запис. Пунктирните правоъгълници маркират едно и също място, докато микроскопът сканира в дълбочина. Времената съответстват на позицията на възпроизвеждане в предоставения видеозапис.
По-високите резултати в тестовете все още не означават, че моделите могат да правят надеждни преценки в лабораторията. Тези примери с Astra показват как предположенията, очакваните отговори и предоставените обозначения могат да надделеят над данните и как правилно междинно наблюдение може да не повлияе на крайното решение.
Astra допуска познато предположение да надделее над тълкуването, подкрепено от експерименталните контроли. Моделът различава двете групи ивици от колониите, но приема, че по-голям PCR продукт би означавал успешно клониране. Въз основа на това предлага пътечки 4, 6, 7 и 8; сравнението с контролите в еталонния отговор обаче води до избора на пътечки 5, 9 и 10.
Еталонният отговор избира колонии 5, 9 и 10; Astra предлага 4, 6, 7 и 8.
1: маркер · 2: смес за клониране · 3: изходен плазмид · 4–10: проби от колонии
Тълкуване на контролите
Пътечка 3 съдържа само PCR продукта от изходния плазмид. Нейната ивица служи за ориентир за позицията на стария плазмид.
Според еталонното тълкуване пътечка 2 съдържа и двата профила: при непълното сглобяване наред с новия продукт остава и стара матрица/плазмиден скелет.
Получените колонии могат да носят стария или новия плазмид. Сравнете ивиците им с тези референтни профили.
Еталонен избор: 5, 9 и 10
Изборът на Astra: 4, 6, 7 и 8. Astra предлага тази група с предположението, че по-големият PCR продукт представлява целевата конструкция.
Визуалното групиране е правилно, но експерименталната идентичност, приписана на двете групи, е разменена спрямо еталонния отговор. Така Astra избира грешните колонии въз основа на резултатите от колониалната PCR, което би довело до последващо пречистване на грешния плазмид.
Astra пренебрегва наблюдения, които противоречат на предпочитаното от модела тълкуване. Моделът заключава, че вакуолите — обособени пространства вътре в клетките — като цяло са по-тъмни от околната част на клетката, въпреки че някои изглеждат по-светли в същото изображение. И двата вида са важни: промяната на фокуса на микроскопа може да обърне контраста, така че по-тъмните примери не установяват общо правило.
По-тъмен вид
По-светъл вид
Обобщението на Astra за по-тъмните вакуоли пропуска по-светлите вакуоли, видими в същото зрително поле.
Какво пропуска този отговор
При някои клетки контрастът е обратен. Наблюдават се и двата вида, защото промяната на фокусната дълбочина може да обърне контраста.
Astra разглежда няколко области и дори отбелязва, че контрастът се променя с фокуса. След това отдава по-голяма тежест на клетките, които определя като по-добре фокусирани, и в крайния отговор запазва само описанието им с по-тъмни вакуоли. По-светлите области, които противоречат на това описание, са разгледани, но не са взети предвид в заключението.
Маркировките за преброяване на Astra не съответстват надеждно на отделните колонии: моделът не разграничава близко разположени колонии, пропуска видими колонии и маркира агар без растеж. Крайният резултат за тази петриева паничка е завишен брой с приблизително 12% спрямо еталонния отговор в теста.
Оригинално изображение
Маркировки за преброяване на Astra
Оригинално изображение
Маркировки за преброяване на Astra
Оригинално изображение
Маркировки за преброяване на Astra
A: една маркировка за преброяване между съседни колонии. B: две видими колонии без маркировка. C: агар без растеж, преброен като колония. Червените кръгове показват местата, преброени от Astra. Черните стрелки са добавени за пояснение.
Неточното преброяване на колониите пряко влияе върху оценката на ефективността, с която ДНК е въведена в клетките. При непроменени посят обем и разреждане завишеният брой увеличава тази оценка в същата пропорция.
Ускоряването на биологичните изследвания изисква ежедневната работа да се върши правилно. BioBasicsBench превръща тази работа в цел за подобрение: тълкуване на сурови експериментални данни, проверка на контроли и разпознаване на случаи, в които заключението не е подкрепено от данните. Напредъкът по тези задачи би могъл да помогне на учените да отделят по-малко време за отстраняване на проблеми и повече за решаване кои експерименти да проведат след това. Проследяването на тези способности ще ни помогне и да разберем последиците им за биологичната безопасност и биологичната сигурност.
