Мерење на тоа како агентите со ВИ се справуваат со секојдневната лабораториска работа
Го претставуваме BioBasicsBench, тест што мери колку добро агентите со ВИ толкуваат необработени експериментални податоци во 100 рутински лабораториски задачи.
Нашата мисија е да обезбедиме општата вештачка интелигенција да му користи на целото човештво. Како дел од таа мисија, сакаме да им помогнеме на научниците да ги забрзаат биолошките истражувања — од разбирање на болестите до развој на нови терапии. За да придонесат, агентите со ВИ треба веродостојно да ги толкуваат експерименталните докази со кои научниците работат секој ден во лаборатории, каде што спроведуваат експерименти со биолошки примероци. Секојдневната работа во експериментална лабораторија вклучува неуспешни експерименти, двосмислени слики и спротивставени набљудувања. Постојните тестови за оценување, засновани на графикони и слики избрани за научни трудови, може да ја пропуштат оваа двосмисленост и потребата од откривање и решавање проблеми што таа ја наметнува. Затоа го претставуваме BioBasicsBench, нов тест за оценување развиен со Ligo, биотехнолошка компанија насочена кон дизајнирање ензими, кој мери колку добро агентите се справуваат со рутински анализи во експериментална лабораторија.
Неговите 100 задачи проверуваат дали агентите можат да толкуваат необработени експериментални податоци, да откриваат грешки и да препознаат кога доказите не се доволни за да поткрепат заклучок. Правилното решавање на овие задачи е важно: погрешното толкување слика или превидувањето проблем со контролите за проверка на резултатите може да ги наведе научниците да извлечат погрешен заклучок и да трошат време на експерименти што нема да помогнат да се одговори на нивното прашање.
Со поставката „xhigh“, која овозможува повеќе расудување по задача, GPT‑6 Astra освои во просек 66,7% од можните поени, наспроти 43,8% за GPT‑5.6 Sol. Резултатите покажуваат напредок во рутинската лабораториска анализа, со простор за понатамошни подобрувања во толкувањето слики, проверката на контролите и примената на експерименталниот контекст.
BioBasicsBench користи необработени експериментални докази, од слики на гелови и плочи со колонии до микроскопски снимки и отчитувања од инструменти.
BioBasicsBench содржи 100 задачи од пет области на рутинска работа во експериментална лабораторија: методи за протеини, снимање и цитометрија, квантификација и тестови, методи за нуклеински киселини и молекуларно клонирање. Задачите се движат од едноставни барања, како отчитување на молекуларната маса на примерок од ДНК во гел, до детална анализа на тестови. Сепак, сите опфаќаат рутинска работа што научниците во експериментални лаборатории треба да можат сигурно да ја извршат.
Научниците ги создадоа задачите со податоци од сопствени експерименти, придружувајќи го секое прашање со критериуми за оценување изработени од експерти. Секоја задача помина внатрешна рецензија од научник од Ligo кој не бил нејзин автор, надворешна рецензија од научник со докторат кој работи во експериментална лабораторија и завршна внатрешна рецензија.
Агентите даваат структуриран одговор со бараниот заклучок, мерење или препорака и, каде што се бара, со расудување што го поткрепува одговорот. Одговорите добиваат поени според поединечните критериуми од шемата за оценување, што овозможува тестот да разликува точен заклучок од делумно точна анализа. Повеќето задачи проверуваат повеќе вештини истовремено, вклучувајќи биолошко знаење, толкување слики и други податоци, откривање грешки и разбирање протоколи.
„Уникатни задачи“ ја брои секоја задача еднаш. Колоните за вештини ги бројат задачите означени со соодветната вештина. Овие категории се преклопуваат: една задача може да се појави во повеќе колони, па броевите за вештините не треба да се собираат за да се добие вкупниот број задачи. Бојата ја означува областа; поинтензивната нијанса означува поголем удел на задачи од таа област што ја тестираат дадената вештина.
Влезните податоци ги задржуваат формите на докази со кои работат научниците: слики од гелови и блотови, фотографии од плочи, серии микроскопски слики, отчитувања од секвенционирање, податоци извезени од читачи на микроплочи и видеа од лабораториска работа. Една задача може да вклучува неколку вида податоци. Референтните листови, како шемите на маркери за молекуларна големина и плазмидните мапи, помагаат во толкувањето на експерименталните докази.
Вид податоци | Задачи | Што вклучува |
|---|---|---|
Гелови и блотови | 31 | Агарозни гелови за ДНК, SDS-PAGE гелови, вестерн блотови |
Протоколи, белешки и спецификации | 27 | Протоколи и стандардни оперативни постапки, лабораториски дневници и записи од мерења, фотографии од ракописни белешки, каталози, спецификации на инструменти, објавени методи |
Табели и податоци извезени од инструменти | 20 | Извезени CSV и Excel датотеки, распореди на патеки и инвентарни списоци, необработени датотеки од проточна цитометрија (FCS) |
Фотографии од работни маси, апаратура и реагенси | 18 | Работни маси, апарати за гел-електрофореза, епрувети со реагенси и култури, PCR плоча, држачи за епрувети, pH ленти, концентратор, замрзнувач, работна платформа на уред за ракување со течности |
Микроскопија | 14 | Необработени слики од светло поле и флуоресцентни слики, повеќеканални збирки, серии слики по z-оската, видеа од снимки во временски интервали |
Екрани на инструменти и графикони | 13 | Фотографии од екраните на проточен цитометар, микроскоп, NanoDrop, читач на микроплочи и вага; извезени стандардни криви, хроматограми и графикони |
Датотеки од секвенционирање | 12 | Необработени FASTQ датотеки со долги отчитувања, FASTA секвенци, GenBank мапи |
Видеа со протоколи | 7 | Засејување со потези, инокулација, сериско разредување, поставување комора за SDS-PAGE и инкубатор, мерење на вага |
Агарни плочи и колонии | 7 | Плочи за трансформација, сино-бел скрининг, плочи со антибиотски дискови |
Референтни листови | 21 | Шеми на маркери за молекуларна големина, плазмидни мапи, pH скали (помошен материјал) |
Број на задачи што го вклучуваат секој вид податоци. Категориите се преклопуваат; референтните листови се помошен материјал.
Научниците ги составија задачите со податоци од сопствени експерименти, придружувајќи ги експерименталните докази со прашање и шема за оценување изработена од експерти. Секоја задача помина внатрешна рецензија од научник од Ligo кој не бил нејзин автор, надворешна рецензија од научник со докторат кој работи во експериментална лабораторија и завршна внатрешна рецензија. Рецензентите ги проверуваа промптот, експерименталните докази, шемата за оценување, белешките на авторот и еден оценет обид на модел.
Одговорите се оценуваат според шемата за задачата, која доделува поени за поединечни критериуми. Зависно од задачата, овие критериуми ги оценуваат заклучокот, нумеричките резултати, расудувањето што го поткрепува одговорот или препознавањето дека доказите се недоволни.
На BioBasicsBench оценивме седум модели: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna и GPT‑6 Astra. Оценувањето опфаќа 37 комбинации на модел и ниво на расудување, со пет обиди за секоја од 100-те задачи по комбинација, односно вкупно 18.500 резултати.
Ја прикажуваме просечната награда: просечниот резултат по задача, изразен како процент од можните поени. Линиите на грешка прикажуваат 95% интервали на доверба, пресметани со повторно земање примероци од цели задачи, при што петте обиди за секоја задача се задржуваат заедно.
Просечна награда во однос на просечниот број излезни токени по задача, прикажан на логаритамска скала. Секоја точка претставува тестирана поставка за нивото на расудување; линиите ги поврзуваат поставките по редослед. Вредноста на x-оската се удвојува на секоја ознака. Испрекинатите портокалови линии ги прикажуваат моделите GPT‑5, а полните сини линии — моделите GPT‑6. Бледите линии на грешка прикажуваат 95% интервали на доверба добиени со бутстреп на цели задачи. Секоја поставка ги вклучува сите 100 задачи и пет обиди по задача. Поставките за нивото на расудување се разликуваат меѓу моделите.
GPT‑6 Astra постигнува значително подобри резултати од GPT‑5.6 Sol, дури и при ниско ниво на расудување. Овие подобрувања укажуваат дека посилните вградени мултимодални способности може да бидат клучни за подобри резултати при секојдневната работа во експериментална лабораторија, особено при анализата.
Резултати при ниво на расудување xhigh
Модел | Просечна награда | 95% интервал на доверба | Излезни токени / задача |
|---|---|---|---|
GPT‑6 Astra | 66,7% | 60,3–73,1% | 4.704 |
GPT‑6.1 Sol | 62,0% | 55,6–68,4% | 5.238 |
GPT‑5.6 Sol | 43,8% | 37,6–50,0% | 9.099 |
GPT‑6 Luna | 38,3% | 32,3–44,5% | 13.120 |
GPT‑5.5 | 35,4% | 29,7–41,0% | 11.135 |
GPT‑5.4 | 33,2% | 28,3–38,4% | 13.717 |
GPT‑5.2 | 31,2% | 26,2–36,3% | 27.620 |
Xhigh е највисоката поставка за нивото на расудување за која се наведени резултати за сите седум модели. Секој ред ги вклучува сите 100 задачи и пет обиди по задача. Резултатите за нивото Max, каде што се достапни, се вклучени во графиконот погоре.
Честа замка во науката е од податоците да се извлекуваат повеќе заклучоци отколку што тие дозволуваат, особено поради пристрасноста што се јавува при тестирање хипотеза. Astra покажа подобра способност да ги препознае границите на она што го покажуваат податоците и да не извлекува неоправдани заклучоци.
Во овој пример, GPT‑5.6 Sol ги класифицираше клетките како мртви врз основа на сигналот од боја што се користи за откривање мртви клетки. Но детекторот можеше да регистрира и светлина од втора боја, па само светлинскиот интензитет не беше доволен за таков заклучок. Astra ја препозна оваа двосмисленост и побара подобри контроли за раздвојување на сигналите.
Светло поле · пропуштена светлина
Канал 2 · означено со SYTOX · 470–540 nm
Канал 3 · зелена флуоресценција на FUN-1 · 525–580 nm
Истите области со клетки во три канали; опсезите за детекција се преклопуваат на 525–540 nm. Заедничкиот опсег овозможува интерференција, чиј обем не е измерен. Секој канал е прикажан со посебна линеарна скала на интензитет, иста за двете области; светлинскиот интензитет не може квантитативно да се споредува меѓу каналите.
Научното истражување е изразено мултимодално и бара постојано толкување визуелни податоци и донесување одлуки. Astra покажа значително подобрување во обработката на мултимодални податоци доставени како фотографии и видеа, како и необработени резултати од секвенционирање, тестови со читач на микроплочи, микроскопија и проточна цитометрија.
На најосновно ниво, ова подобрување се гледаше во способноста на GPT‑6 Astra да забележува поситни детали на слики направени за време на експериментите и така да извлекува поточни заклучоци, како во овој пример. Во оваа задача, од агентите се бараше да извлечат заклучоци од експеримент за клонирање ДНК, во кој контролите се неопходни. GPT‑5.6 Sol не забележа колонии на негативната контролна плоча и ги заснова своите заклучоци врз тоа набљудување. GPT‑6 Astra забележа дека плочата е означена со погрешен антибиотик и правилно ја отфрли како веродостојна контрола.
Оригинална фотографија
Ознаката на работ
Оригиналната фотографија од тестот, со заокружена и зголемена ознака на работ. „LB Kan50“ означува канамицин, антибиотик различен од ампицилинот користен во експериментот.
За правилно да ги протолкуваат податоците, научниците мора при анализата да ги имаат предвид искуственото биолошко знаење и експерименталниот контекст. Astra покажа подобра способност да го задржи овој контекст и да го применува во текот на целата анализа.
Една задача прикажуваше клетки што влегуваат и излегуваат од фокус во серија микроскопски слики. Додека GPT‑5.6 Sol бараше биолошко објаснување за привидното исчезнување на клетките, GPT‑6 Astra правилно препозна серија по z-оската: слики снимени на различни длабочини.
0 s
3 s
6 s
9 s
12 s
15 s
Шест кадри од оригиналната снимка. Рамките со испрекинати линии ја означуваат истата местоположба додека микроскопот скенира по длабочина. Времињата се однесуваат на позицијата при репродукција на доставеното видео.
Повисоките резултати на тестот сè уште не значат дека моделите можат да донесуваат веродостојни процени во лабораторија. Овие примери со Astra покажуваат како претпоставките, очекуваните одговори и дадените ознаки може да добијат предност пред доказите и како точно набљудување во текот на анализата може да остане без влијание врз конечната одлука.
Astra ѝ дава предност на позната претпоставка пред толкувањето поткрепено со експерименталните контроли. Ги разликува двете групи ленти од колонии, но претпоставува дека поголем PCR производ би означувал успешно клонирање. Врз таа основа ги предлага патеките 4, 6, 7 и 8; споредбата со контролите во референтниот одговор, пак, ги избира патеките 5, 9 и 10.
Референтниот одговор ги избира колониите 5, 9 и 10; Astra ги предлага 4, 6, 7 и 8.
1: маркер · 2: смеса за клонирање · 3: оригинален плазмид · 4–10: примероци од колонии
Толкување на контролите
Патеката 3 содржи само PCR производ од оригиналниот плазмид. Нејзината лента ја дава референтната позиција на стариот плазмид.
Според референтното толкување, патеката 2 ги содржи двата обрасца: поради нецелосното склопување, покрај новиот производ останува и старата матрица/плазмидна основа.
Добиените колонии може да го носат стариот или новиот плазмид. Споредете ги нивните ленти со овие референтни обрасци.
Референтен избор: 5, 9 и 10
Избор на Astra: 4, 6, 7 и 8. Astra ја предлага оваа група, претпоставувајќи дека поголемиот PCR производ ја претставува посакуваната конструкција.
Визуелното групирање е точно, но експерименталните идентитети што им се припишуваат на групите се обратни во однос на референтниот одговор. Затоа Astra избира погрешни колонии од резултатите на PCR од колонии, што би довело до понатамошно прочистување на погрешниот плазмид.
Astra ги занемарува набљудувањата што му противречат на нејзиното претпочитано толкување. Заклучува дека вакуолите, оддели во внатрешноста на клетките, генерално се потемни од остатокот на клетката околу нив, иако некои на истата слика изгледаат посветли. Двата изгледа се важни: промената на фокусот на микроскопот може да го преврти контрастот, па потемните примери не утврдуваат општо правило.
Потемен изглед
Посветол изглед
Генерализацијата на Astra дека вакуолите се потемни ги изоставува посветлите вакуоли видливи во истото поле.
Што пропушта тој одговор
Некои клетки имаат обратен контраст. Се јавуваат двата изгледа бидејќи различните фокусни длабочини може да го превртат контрастот.
Astra разгледува неколку области, па дури и забележува дека контрастот се менува со фокусот. Потоа им дава поголема тежина на клетките што ги смета за подобро фокусирани и во конечниот одговор го задржува само описот на нивните потемни вакуоли. Посветлите области што му противречат на тој опис се разгледани, но не се земени предвид во заклучокот.
Ознаките за броење на Astra не соодветствуваат веродостојно на поединечните колонии: не ги разликува блиските соседни колонии, пропушта видливи колонии и означува агар без колонии. Крајниот резултат за оваа плоча е приближно 12% повеќе изброени колонии во однос на референтниот резултат на тестот.
Оригинална слика
Ознаки за броење од Astra
Оригинална слика
Ознаки за броење од Astra
Оригинална слика
Ознаки за броење од Astra
A: една ознака за броење меѓу соседни колонии. B: две видливи колонии оставени неозначени. C: агар без колонии изброен како колонија. Црвените кругови ги покажуваат местата што ги изброила Astra. Црните стрелки се уреднички насоки.
Неточното броење колонии директно влијае врз процените за ефикасноста со која ДНК била внесена во клетките. При непроменет засеан волумен и разредување, прекумерното броење ја зголемува таа процена за истиот процент.
Забрзувањето на биолошките истражувања бара правилно извршување на секојдневната работа. BioBasicsBench ја поставува таа работа како цел за подобрување: толкување необработени експериментални податоци, проверка на контролите и препознавање кога заклучокот не е поткрепен. Напредокот во овие задачи би можел да им помогне на научниците да трошат помалку време на решавање проблеми, а повеќе на одлучување кои експерименти да ги спроведат следно. Следењето на овие способности ќе ни помогне и да ги разбереме нивните последици за биолошката безбедност и биолошката сигурност.
