ЖИ агенттерінің күнделікті биологиялық зертхана жұмысын орындауын бағалау
ЖИ агенттерінің күнделікті биологиялық зертхана жұмысына қатысты 100 тапсырмада өңделмеген эксперименттік деректерді қаншалықты жақсы түсіндіретінін бағалайтын BioBasicsBench тестін ұсынамыз.
Біздің миссиямыз — жалпы жасанды интеллект бүкіл адамзатқа пайда әкелуін қамтамасыз ету. Осы миссия аясында ғалымдарға ауруларды түсінуден бастап жаңа емдеу тәсілдерін әзірлеуге дейінгі биологиялық зерттеулерді жеделдетуге көмектескіміз келеді. ЖИ агенттері бұл іске үлес қосу үшін ғалымдар биологиялық үлгілермен тәжірибе жасайтын зертханаларда күн сайын қолданатын эксперименттік деректерді сенімді түрде түсіндіре алуы қажет. Биологиялық зертхананың күнделікті жұмысында сәтсіз тәжірибелер, екіұшты кескіндер және бір-біріне қайшы бақылау нәтижелері кездеседі. Ғылыми мақалалар үшін таңдалған диаграммалар мен кескіндерге негізделген қазіргі бағалау тесттері мұндай екіұштылықты және оны шешуге қажетті жұмысты ескермеуі мүмкін. Сондықтан BioBasicsBench атты жаңа бағалау тестін ұсынамыз. Оны ферменттерді жобалауға маманданған Ligo биотехнологиялық компаниясымен бірге агенттердің күнделікті биологиялық зертханалық талдауды қаншалықты жақсы орындайтынын өлшеу үшін әзірледік.
Тесттегі 100 тапсырма агенттердің өңделмеген эксперименттік деректерді түсіндіру, қателерді анықтау және деректер қорытынды жасауға жеткіліксіз екенін тану қабілетін тексереді. Бұл тапсырмаларды дұрыс орындау маңызды: кескінді қате түсіну немесе тәжірибе нәтижелерін тексеруге арналған бақылау үлгілеріндегі мәселені байқамау ғалымдарды қате қорытындыға әкеліп, сұрақтарына жауап бермейтін тәжірибелерге уақыт жұмсауға мәжбүр етуі мүмкін.
Әр тапсырмаға көбірек ой қорытуға мүмкіндік беретін «xhigh» баптауында GPT‑6 Astra мүмкін болатын ұпайдың орта есеппен 66,7%-ын жинады, ал GPT‑5.6 Sol көрсеткіші 43,8% болды. Нәтижелер күнделікті зертханалық талдауда ілгерілеу бар екенін көрсетеді. Дегенмен кескіндерді түсіндіру, бақылау үлгілерін тексеру және тәжірибенің мән-жайын ескеру бағыттарында әлі де жетілдіруге мүмкіндік бар.
BioBasicsBench гель кескіндері мен колония табақшаларынан бастап микроскопия нәтижелері мен аспап көрсеткіштеріне дейінгі өңделмеген эксперименттік деректерді пайдаланады.
BioBasicsBench күнделікті биологиялық зертхана жұмысының бес бағытын қамтитын 100 тапсырмадан тұрады: ақуыздармен жұмыс істеу әдістері, кескіндеу және цитометрия, сандық өлшеу және талдаулар, нуклеин қышқылдарымен жұмыс істеу әдістері және молекулалық клондау. Тапсырмалар гельдегі ДНҚ үлгісінің молекулалық массасын анықтау сияқты қарапайым сұраулардан бастап талдау нәтижелерін егжей-тегжейлі қарастыруға дейін барады. Бірақ олардың бәрі биологиялық зертханада жұмыс істейтін ғалымдар сенімді түрде орындай алуы тиіс күнделікті тапсырмаларға жатады.
Ғалымдар тапсырмаларды өз тәжірибелерінің деректерінен құрастырып, әр сұраққа сарапшылар жазған бағалау өлшемдерін қосты. Әр тапсырманы алдымен оны құрастыруға қатыспаған Ligo ғалымы ішкі тексеруден, кейін биологиялық зертханада жұмыс істейтін PhD дәрежесіндегі ғалым сыртқы тексеруден өткізді. Соңында қорытынды ішкі тексеру жүргізілді.
Агенттер сұралған қорытындыны, өлшемді немесе ұсынысты, қажет болғанда оны негіздейтін ой қорытуды қамтитын құрылымдалған жауап береді. Жауаптарға бағалау рубрикасының әр өлшемі бойынша ұпай беріледі. Осылайша тест дұрыс қорытындыны ішінара дұрыс талдаудан ажырата алады. Тапсырмалардың көбі биологиялық білім, кескіндер мен өзге деректерді түсіндіру, қателерді анықтау және хаттамаларды түсіну сияқты бірнеше дағдыны қатар тексереді.
«Бірегей тапсырмалар» бағанында әр тапсырма бір рет саналады. Дағды бағандарында сол дағдымен белгіленген тапсырмалар есептеледі. Бұл санаттар қабаттасады: бір тапсырма бірнеше бағанда болуы мүмкін, сондықтан жалпы тапсырма санын шығару үшін дағды бағандарындағы сандарды қосуға болмайды. Түс саланы білдіреді; реңк неғұрлым қанық болса, сол салада осы дағдыны тексеретін тапсырмалардың үлесі соғұрлым көп.
Кіріс деректері ғалымдар қолданатын бастапқы пішінде сақталған: гель мен блот кескіндері, табақша фотосуреттері, микроскопия стектері, секвенирлеу оқылымдары, планшет ридерінен экспортталған деректер және зертханалық жұмыс бейнелері. Бір тапсырмада деректің бірнеше түрі болуы мүмкін. Молекулалық маркер сызбалары мен плазмида карталары сияқты анықтамалық парақтар эксперименттік деректерді түсіндіруге көмектеседі.
Дерек түрі | Тапсырмалар | Құрамы |
|---|---|---|
Гельдер мен блоттар | 31 | ДНҚ-ға арналған агарозалық гельдер, SDS-PAGE гельдері, вестерн-блоттар |
Хаттамалар, жазбалар және сипаттамалар | 27 | Хаттамалар мен стандартты операциялық рәсімдер, зертханалық журналдар мен тәжірибе жазбалары, қолжазбалардың фотосуреттері, каталогтер, аспаптардың техникалық сипаттамалары, жарияланған әдістер |
Кестелер мен аспаптардан экспортталған деректер | 20 | CSV және Excel форматындағы экспорттар, гель жолақтарының орналасу сызбалары мен тізімдері, ағындық цитометрияның өңделмеген файлдары (FCS) |
Зертханалық үстелдердің, жабдықтардың және реагенттердің фотосуреттері | 18 | Зертханалық үстелдер, гель электрофорезі құрылғылары, реагенттер мен өсінділер құйылған түтіктер, ПТР планшеті, түтік штативтері, pH жолақтары, концентратор, мұздатқыш, сұйықтықпен жұмыс істейтін автоматтың платформасы |
Микроскопия | 14 | Өңделмеген жарық өрісті және флуоресцентті кескіндер, көпарналы жиынтықтар, z-стектер, уақыт аралығымен түсірілген бейнелер |
Аспап экрандары мен графиктер | 13 | Ағындық цитометр, микроскоп, NanoDrop, планшет ридері және таразы экрандарының фотосуреттері; экспортталған калибрлеу қисықтары, хроматограммалар мен графиктер |
Секвенирлеу файлдары | 12 | Ұзын оқылымдардың өңделмеген FASTQ файлдары, FASTA тізбектері, GenBank карталары |
Хаттамалардың орындалу бейнелері | 7 | Штрихтап егу, инокуляция, сериялық сұйылту, SDS-PAGE камерасы мен инкубаторды дайындау, таразыда өлшеу |
Агар табақшалары мен колониялар | 7 | Трансформация табақшалары, көк-ақ скрининг, антибиотик дискілері бар табақшалар |
Анықтамалық парақтар | 21 | Молекулалық маркер сызбалары, плазмида карталары, pH шкалалары (қосалқы материал) |
Әр дерек түрін қамтитын тапсырмалар саны. Санаттар өзара қабаттасады; анықтамалық парақтар қосалқы материал ретінде беріледі.
Ғалымдар тапсырмаларды өз тәжірибелерінің деректерінен құрастырып, эксперименттік деректерге сұрақ пен сарапшылар жазған бағалау рубрикасын қосты. Әр тапсырманы алдымен оны құрастыруға қатыспаған Ligo ғалымы ішкі тексеруден, кейін биологиялық зертханада жұмыс істейтін PhD дәрежесіндегі ғалым сыртқы тексеруден өткізді. Соңында қорытынды ішкі тексеру жүргізілді. Тексерушілер көмексөзді, эксперименттік деректерді, бағалау рубрикасын, автордың ескертпелерін және модельдің бір талпынысының бағаланған нәтижесін қарады.
Жауаптар тапсырманың әр өлшемге жеке ұпай бөлетін бағалау рубрикасы бойынша бағаланады. Тапсырмаға қарай бұл өлшемдер қорытындыны, сандық нәтижелерді, оларды негіздейтін ой қорытуды немесе деректердің жеткіліксіз екенін тануды бағалайды.
BioBasicsBench арқылы жеті модельді бағаладық: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna және GPT‑6 Astra. Бағалау модель мен ой қорытуға жұмсалатын күштің 37 үйлесімін қамтиды. Әр үйлесімде 100 тапсырманың әрқайсысына бес талпыныс жасалып, барлығы 18 500 нәтиже алынды.
Біз орташа ұпайды көрсетеміз: бұл — тапсырмалардан жиналған ұпайдың мүмкін болатын ең жоғары ұпайға шаққандағы орташа пайызы. Қателік жолақтары әр тапсырманың бес талпынысын бірге сақтай отырып, тұтас тапсырмаларды қайта іріктеу арқылы есептелген 95% сенімділік аралықтарын көрсетеді.
Орташа ұпайдың бір тапсырмаға шаққандағы орташа шығыс токендер санына тәуелділігі логарифмдік шкалада көрсетілген. Әр нүкте сыналған ой қорыту күшінің баптауын білдіреді; сызықтар бұл баптауларды ретімен қосады. x осіндегі әр келесі белгіде мән екі есе артады. Қызғылт сары үзік сызықтар GPT‑5 модельдерін, ал көк тұтас сызықтар GPT‑6 модельдерін көрсетеді. Бозғылт қателік жолақтары тұтас тапсырмаларды бутстрэп әдісімен қайта іріктеу арқылы алынған 95% сенімділік аралықтарын білдіреді. Әр баптау барлық 100 тапсырманы және әр тапсырмаға бес талпынысты қамтиды. Ой қорыту күшінің баптаулары модельге қарай өзгереді.
Ой қорытуға аз күш жұмсағанның өзінде GPT‑6 Astra нәтижесі GPT‑5.6 Sol нәтижесінен едәуір жоғары. Бұл жетістіктер модельге кіріктірілген мультимодальды мүмкіндіктерді күшейту күнделікті биологиялық зертханалық талдаудың сапасын арттырудың кілті болуы мүмкін екенін көрсетеді.
xhigh ой қорыту күші баптауындағы нәтижелер
Модель | Орташа ұпай | 95% сенімділік аралығы | Шығыс токендер / тапсырма |
|---|---|---|---|
GPT‑6 Astra | 66,7% | 60,3–73,1% | 4704 |
GPT‑6.1 Sol | 62,0% | 55,6–68,4% | 5238 |
GPT‑5.6 Sol | 43,8% | 37,6–50,0% | 9099 |
GPT‑6 Luna | 38,3% | 32,3–44,5% | 13 120 |
GPT‑5.5 | 35,4% | 29,7–41,0% | 11 135 |
GPT‑5.4 | 33,2% | 28,3–38,4% | 13 717 |
GPT‑5.2 | 31,2% | 26,2–36,3% | 27 620 |
Xhigh — жеті модельдің бәрі үшін нәтижесі берілген ең жоғары ой қорыту күші баптауы. Әр жол барлық 100 тапсырманы және әр тапсырмаға бес талпынысты қамтиды. Max баптауындағы нәтижелер бар болған жағдайда жоғарыдағы диаграммаға енгізілген.
Ғылымда жиі кездесетін қателік — деректерден шамадан тыс қорытынды шығару. Гипотезаны тексеру кезінде туындайтын біржақтылық мұны әсіресе өзекті етеді. Astra деректердің нені көрсететінін және олар негіздей алатын қорытындылардың шегін жақсырақ ажыратып, негізсіз тұжырымдар жасамауға қабілетті екенін көрсетті.
Бұл мысалда GPT‑5.6 Sol өлі жасушаларды анықтауға арналған бояғыштың сигналына сүйеніп, жасушаларды өлі деп жіктеді. Алайда детектор екінші бояғыштан шыққан жарықты да тіркей алатындықтан, мұндай қорытындыға тек жарықтықтың өзі жеткіліксіз еді. Astra бұл екіұштылықты байқап, сигналдарды ажырату үшін бақылау үлгілерін жетілдіру қажет екенін айтты.
Жарық өрісті кескін · Өтетін жарық
2-арна · SYTOX-пен таңбаланған · 470–540 нм
3-арна · FUN-1 жасыл сигналы · 525–580 нм
Үш арнадағы бірдей жасуша аймақтары; анықтау диапазондары 525–540 нм аралығында қабаттасады. Ортақ диапазонда сигналдар бір-біріне кедергі келтіруі мүмкін; оның мөлшері өлшенбеген. Әр арна екі аймақ үшін де өзгермейтін жеке сызықтық қарқындылық шкаласымен көрсетілген; арналар арасындағы жарықтықты сандық түрде салыстыруға болмайды.
Ғылыми зерттеулер деректің сан алуан түріне сүйенеді және үнемі визуалды ақпаратты түсіндіруді әрі шешім қабылдауды талап етеді. Astra фотосуреттер мен бейнелер, сондай-ақ секвенирлеу, планшет ридерімен жүргізілген талдаулар, микроскопия және ағындық цитометрияның өңделмеген нәтижелері түрінде берілген мультимодальды деректермен жұмыс істеуде елеулі ілгерілеу көрсетті.
Бұл жақсару ең қарапайым деңгейде GPT‑6 Astra моделінің тәжірибе кезінде түсірілген кескіндердің ұсақ бөлшектерін байқап, соның арқасында дәлірек қорытынды жасай алуынан көрінді. Төмендегі мысал соны көрсетеді. Бұл тапсырмада агенттер бақылау үлгілері аса маңызды болатын ДНҚ клондау тәжірибесінен қорытынды шығаруы керек еді. GPT‑5.6 Sol теріс бақылау табақшасында колониялар жоқ екенін көріп, қорытындысын осы бақылауға негіздеді. GPT‑6 Astra табақшада басқа антибиотиктің атауы жазылғанын байқап, оны сенімді бақылау үлгісі ретінде қабылдамады. Бұл дұрыс шешім еді.
Бастапқы фотосурет
Жиектегі белгі
Бағалауда қолданылған бастапқы фотосурет: жиектегі белгі шеңбермен қоршалып, үлкейтілген. «LB Kan50» белгісі канамицинді білдіреді, ал тәжірибеде басқа антибиотик — ампициллин қолданылған.
Деректерді дұрыс түсіндіру үшін ғалымдар талдау барысында айқын тұжырымдалмаған тәжірибелік биологиялық білімді және тәжірибенің мән-жайын есте ұстап отыруы керек. Astra осы мән-жайды сақтап, бүкіл талдау барысында қолдану қабілетінің жақсарғанын көрсетті.
Бір тапсырмадағы микроскоп кескіндерінің тізбегінде жасушалар бірде фокусқа еніп, бірде одан шығып отырған. GPT‑5.6 Sol жасушалардың көзден жоғалуына биологиялық түсіндірме іздесе, GPT‑6 Astra мұның z-стек — әртүрлі тереңдікте түсірілген кескіндер тізбегі екенін дұрыс таныды.
0 с
3 с
6 с
9 с
12 с
15 с
Бастапқы жазбадан алынған алты кадр. Микроскоп тереңдік бойымен сканерлегенде, үзік сызықты жақтаулар бір орынды белгілеп тұрады. Уақыт берілген бейненің ойнату барысындағы мезетті көрсетеді.
Бағалау тестіндегі жоғары ұпай модельдер зертханада сенімді пайым жасай алады дегенді әлі білдірмейді. Astra-ның бұл мысалдары болжамдар, күтілетін жауаптар мен берілген белгілердің нақты деректерден басым түсіп кететінін және аралық кезеңдегі дұрыс бақылаудың соңғы шешімге әсер етпеуі мүмкін екенін көрсетеді.
Astra үйреншікті болжамды тәжірибенің бақылау үлгілері растайтын түсіндірмеден жоғары қояды. Ол колония үлгілерінің жолақтарын екі топқа ажырата алады, бірақ көлемі үлкенірек ПТР өнімі клондаудың сәтті болғанын білдіреді деп болжайды. Осы болжаммен ол 4, 6, 7 және 8 жолақтарды ұсынады; ал эталондық жауапта бақылау үлгілерімен салыстыру арқылы 5, 9 және 10 жолақтар таңдалған.
Эталондық жауапта таңдалған колониялар: 5, 9 және 10; Astra ұсынғандары: 4, 6, 7 және 8.
1: маркер · 2: клондау қоспасы · 3: бастапқы плазмида · 4–10: колония үлгілері
Бақылау үлгілерін түсіндіру
3-жолақта тек бастапқы плазмиданың ПТР өнімі бар. Ондағы жолақ ескі плазмиданың салыстыруға арналған орнын көрсетеді.
Эталондық түсіндірме бойынша 2-жолақта екі үлгі де бар: құрастыру толық аяқталмағандықтан, жаңа өніммен қатар ескі матрица/қаңқа да қалған.
Түзілген колониялардың әрқайсысында ескі немесе жаңа плазмида болуы мүмкін. Олардың жолақтарын осы эталондық үлгілермен салыстырыңыз.
Эталондық таңдау: 5, 9 және 10
Astra таңдауы: 4, 6, 7 және 8. Astra үлкенірек ПТР өнімі көзделген конструкцияға сәйкес келеді деп болжап, осы топты ұсынады.
Көрініс бойынша топтау дұрыс, бірақ топтардың тәжірибедегі сәйкестігі эталонмен салыстырғанда керісінше берілген. Сондықтан Astra колониялық ПТР нәтижелерінен қате колонияларды таңдайды. Бұл кейінгі кезеңде қате плазмиданы бөліп алып, тазартуға әкеледі.
Astra өзі таңдаған түсіндірмеге қайшы бақылау нәтижелеріне жеткілікті мән бермейді. Ол жасуша ішіндегі қуыстар — вакуольдер — әдетте жасушаның қалған бөлігінен күңгірттеу болады деп қорытындылайды, бірақ сол кескінде кейбір вакуольдер ашықтау көрінеді. Екі көрініс те маңызды: микроскоп фокусын өзгерту контрастты кері айналдыруы мүмкін, сондықтан күңгірттеу мысалдар жалпы ереже жасауға негіз болмайды.
Күңгірттеу көрініс
Ашықтау көрініс
Astra-ның вакуольдер күңгірттеу болады деген жалпылауы сол көру өрісіндегі ашықтау вакуольдерді ескермейді.
Бұл жауап нені ескермейді
Кейбір жасушаларда контраст керісінше көрінеді. Фокус тереңдігі өзгерген кезде контрасттың бағыты ауысуы мүмкін, сондықтан екі түрлі көрініс те кездеседі.
Astra бірнеше аймақты қарап, контрасттың фокусқа қарай өзгеретінін де атап өтеді. Алайда кейін өзі фокусқа жақсырақ түскен деп санаған жасушаларға көбірек мән беріп, соңғы жауапта тек солардың вакуольдері күңгірттеу деген сипаттаманы қалдырады. Бұған қайшы келетін ашықтау аймақтар қаралғанымен, қорытындыда ескерілмейді.
Astra-ның санау белгілері жеке колонияларға әрдайым дәл келмейді: ол жақын орналасқан колонияларды ажырата алмайды, көрініп тұрғандарын өткізіп жібереді және бос агарды белгілейді. Нәтижесінде бұл табақшадағы сан эталондық мәннен шамамен 12% артық шықты.
Бастапқы кескін
Astra-ның санау белгілері
Бастапқы кескін
Astra-ның санау белгілері
Бастапқы кескін
Astra-ның санау белгілері
A: көршілес колониялардың арасындағы бір санау белгісі. B: көрініп тұрған, бірақ белгіленбеген екі колония. C: колония деп саналған бос агар. Қызыл шеңберлер Astra санаған орындарды көрсетеді. Қара көрсеткілерді редакторлар түсіндіру үшін қосқан.
Колонияларды қате санау ДНҚ-ның жасушаларға енгізілу тиімділігін бағалауға тікелей әсер етеді. Егілген көлем мен сұйылту дәрежесі өзгермесе, артық санау бұл бағалауды да дәл сондай үлеске арттырады.
Биологиялық зерттеулерді жеделдету үшін күнделікті жұмысты дұрыс орындау қажет. BioBasicsBench осы жұмысты жетілдіру мақсатын қояды: өңделмеген эксперименттік деректерді түсіндіру, бақылау үлгілерін тексеру және қорытындының дәлелсіз екенін тану. Бұл тапсырмалардағы ілгерілеу ғалымдарға ақауларды анықтап, түзетуге аз уақыт жұмсап, келесіде қандай тәжірибе жүргізу керегін шешуге көбірек көңіл бөлуге көмектесуі мүмкін. Бұл қабілеттерді қадағалау олардың биологиялық қауіпсіздік пен биологиялық қорғанысқа ықпалын түсінуге де көмектеседі.
