Matja e aftësive të agjentëve të IA-së në punën e përditshme laboratorike

Misioni ynë është të sigurojmë që inteligjenca e përgjithshme artificiale të jetë në dobi të mbarë njerëzimit. Si pjesë e këtij misioni, duam t'i ndihmojmë shkencëtarët të përshpejtojnë kërkimin biologjik, nga kuptimi i sëmundjeve deri te zhvillimi i trajtimeve të reja. Që agjentët e IA-së të kontribuojnë, duhet të interpretojnë me besueshmëri provat eksperimentale me të cilat shkencëtarët punojnë çdo ditë në laboratorë, ku kryejnë eksperimente me mostra biologjike. Puna e përditshme në laboratorët eksperimentalë përfshin eksperimente të dështuara, imazhe të paqarta dhe vëzhgime që bien ndesh me njëri-tjetrin. Testet ekzistuese krahasuese mbështeten te grafikë dhe imazhe të përzgjedhura për artikuj shkencorë dhe mund të mos e pasqyrojnë këtë paqartësi apo punën që kërkohet për zgjidhjen e problemeve që ajo sjell. Prandaj po prezantojmë BioBasicsBench, një test të ri krahasues, të zhvilluar me Ligo, një kompani bioteknologjie e përqendruar në projektimin e enzimave, për të matur sa mirë i kryejnë agjentët analizat rutinë të laboratorëve eksperimentalë.

100 detyrat e testit krahasues vlerësojnë nëse agjentët mund të interpretojnë të dhëna eksperimentale të papërpunuara, të identifikojnë gabime dhe të dallojnë kur provat nuk mjaftojnë për të mbështetur një përfundim. Kryerja e saktë e këtyre detyrave ka rëndësi, sepse leximi i gabuar i një imazhi ose mosvënia re e një problemi me kontrollet që përdoren për verifikimin e rezultateve të një eksperimenti mund t'i çojë shkencëtarët në përfundime të gabuara dhe t'u marrë kohë me eksperimente që nuk ndihmojnë për t'iu përgjigjur pyetjes së tyre.

Në nivelin “xhigh”, i cili lejon më shumë arsyetim për çdo detyrë, GPT‑6 Astra fitoi mesatarisht 66,7% të pikëve të mundshme, krahasuar me 43,8% për GPT‑5.6 Sol. Rezultatet tregojnë përparim në analizat rutinë laboratorike, me hapësirë për përmirësime të mëtejshme në interpretimin e imazheve, verifikimin e kontrolleve dhe zbatimin e kontekstit eksperimental.

BioBasicsBench përdor prova eksperimentale të papërpunuara, nga imazhet e xheleve dhe pjatat me koloni te mikroskopia dhe leximet e instrumenteve.

BioBasicsBench ka 100 detyra në pesë fusha të punës rutinë në laboratorët eksperimentalë: metoda për proteinat, imazheri dhe citometri, përcaktim sasior dhe analiza, metoda për acidet nukleike dhe klonim molekular. Detyrat variojnë nga kërkesa të thjeshta, si leximi i peshës molekulare të një mostre ADN-je në xhel, deri te shqyrtimi i hollësishëm i analizave, por të gjitha përfshijnë punë rutinë që shkencëtarët e laboratorëve eksperimentalë duhet të jenë në gjendje ta kryejnë me besueshmëri.

Shkencëtarët i krijuan detyrat duke përdorur të dhëna nga eksperimentet e tyre dhe duke e shoqëruar çdo pyetje me kritere vlerësimi të shkruara nga ekspertë. Çdo detyrë iu nënshtrua një shqyrtimi të brendshëm nga një shkencëtar i Ligo që nuk e kishte shkruar, një shqyrtimi të jashtëm nga një shkencëtar me doktoraturë që punon në laborator eksperimental dhe një shqyrtimi përfundimtar të brendshëm.

Agjentët japin një përgjigje të strukturuar me përfundimin, matjen ose rekomandimin e kërkuar dhe, kur nevojitet, me arsyetimin mbështetës. Përgjigjet marrin pikë sipas kritereve individuale të skemës së vlerësimit, duke i lejuar testit krahasues të dallojë një përfundim të saktë nga një analizë pjesërisht e saktë. Shumica e detyrave testojnë disa aftësi njëkohësisht, përfshirë njohuritë biologjike, interpretimin e imazheve dhe të dhënave të tjera, zbulimin e gabimeve dhe kuptimin e protokolleve.

Materialet hyrëse ruajnë format e provave me të cilat punojnë shkencëtarët: imazhe xhelesh dhe blotesh, fotografi pjatash, seri imazhesh mikroskopike, lexime sekuencimi, të dhëna të eksportuara nga lexuesit e pllakave dhe video të punës në laborator. Një detyrë mund të përfshijë disa lloje të dhënash. Fletët e referencës, si skemat e markerëve të peshës molekulare dhe hartat e plazmideve, ndihmojnë në interpretimin e provave eksperimentale.

Shkencëtarët i shkruan detyrat duke përdorur të dhëna nga eksperimentet e tyre dhe duke i shoqëruar provat eksperimentale me një pyetje dhe një skemë vlerësimi të shkruar nga ekspertë. Çdo detyrë kaloi nëpër një shqyrtim të brendshëm nga një shkencëtar i Ligo që nuk e kishte shkruar, një shqyrtim të jashtëm nga një shkencëtar me doktoraturë që punon në laborator eksperimental dhe një shqyrtim përfundimtar të brendshëm. Shqyrtuesit kontrolluan kërkesën, provat eksperimentale, skemën e vlerësimit, shënimet e autorit dhe një tentativë të vlerësuar me pikë të modelit.

Përgjigjet vlerësohen sipas skemës së detyrës, e cila cakton pikë për kritere individuale. Në varësi të detyrës, këto kritere vlerësojnë përfundimin, rezultatet numerike, arsyetimin mbështetës ose dallimin se provat janë të pamjaftueshme.

Vlerësuam shtatë modele në BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna dhe GPT‑6 Astra. Vlerësimi mbulon 37 kombinime modelesh dhe nivelesh të përpjekjes së arsyetimit, me pesë tentativa për secilën nga 100 detyrat në çdo kombinim, për një total prej 18.500 rezultatesh.

Raportojmë shpërblimin mesatar: pikët mesatare të detyrave, të shprehura si përqindje e pikëve të mundshme. Shiritat e gabimit tregojnë intervalet e besimit 95%, të llogaritura duke rimostruar detyra të plota dhe duke i mbajtur bashkë pesë tentativat për secilën detyrë.

GPT‑6 Astra shënon një përmirësim të ndjeshëm ndaj GPT‑5.6 Sol, edhe me përpjekje të ulët arsyetimi. Këto përmirësime sugjerojnë se aftësitë multimodale më të fuqishme, të integruara që në ndërtim, mund të jenë kyçe për përmirësimin e performancës në analizat e përditshme të laboratorëve eksperimentalë.

Një gabim i zakonshëm në shkencë është t'u jepet të dhënave më shumë kuptim sesa mbështesin, sidomos duke pasur parasysh natyrën e paragjykimeve që shfaqen gjatë testimit të një hipoteze. Astra tregoi aftësi më të mirë për të dalluar kufijtë e asaj që tregojnë të dhënat dhe për të mos nxjerrë përfundime të pajustifikuara.

Në këtë shembull, GPT‑5.6 Sol i klasifikoi qelizat si të vdekura bazuar në sinjalin e një ngjyruesi që përdoret për zbulimin e qelizave të vdekura. Por detektori mund të kapte edhe dritën e një ngjyruesi të dytë, ndaj vetëm ndriçimi nuk mjaftonte për ta justifikuar atë përfundim. Astra e dalloi këtë paqartësi dhe kërkoi kontrolle më të mira për të ndarë sinjalet.

Kërkimi shkencor është thellësisht multimodal dhe kërkon interpretim vizual dhe vendimmarrje të vazhdueshme. Astra tregoi një përmirësim të ndjeshëm në trajtimin e të dhënave multimodale të dhëna si fotografi e video, si edhe si rezultate të papërpunuara nga sekuencimi, analizat me lexues pllakash, mikroskopia dhe citometria e rrjedhjes.

Në nivelin më bazë, ky përmirësim u pa në aftësinë e GPT‑6 Astra për të dalluar hollësi më të imëta në imazhet e marra gjatë eksperimenteve dhe, rrjedhimisht, për të nxjerrë përfundime më të sakta, siç tregon ky shembull. Kjo detyrë u kërkonte agjentëve të nxirrnin përfundime nga një eksperiment klonimi të ADN-së, ku kontrollet janë thelbësore. GPT‑5.6 Sol nuk pa koloni në pjatën e kontrollit negativ dhe i bazoi përfundimet në atë vëzhgim. GPT‑6 Astra vuri re se etiketa e pjatës shënonte antibiotikun e gabuar dhe, me të drejtë, nuk e pranoi si kontroll të besueshëm.

Për t'i interpretuar saktë të dhënat, shkencëtarët duhet të mbajnë parasysh njohuritë e pashprehura biologjike dhe kontekstin eksperimental gjatë analizës. Astra tregoi aftësi më të mirë për ta ruajtur këtë kontekst dhe për ta zbatuar gjatë gjithë analizës.

Një detyrë tregonte qeliza që hynin dhe dilnin nga fokusi në një seri imazhesh mikroskopike. Ndërsa GPT‑5.6 Sol kërkoi një shpjegim biologjik për zhdukjen në dukje të qelizave, GPT‑6 Astra dalloi saktë një seri sipas boshtit z: imazhe të marra në thellësi të ndryshme.

Rezultatet më të larta në testet krahasuese nuk nënkuptojnë ende se modelet mund të bëjnë gjykime të besueshme në laborator. Këta shembuj të Astra tregojnë se si supozimet, përgjigjet e pritshme dhe etiketat e dhëna mund të marrin përparësi ndaj provave dhe si një vëzhgim i saktë gjatë analizës mund të mos e udhëheqë vendimin përfundimtar.

Astra lejon që një supozim i njohur të marrë përparësi ndaj interpretimit të mbështetur nga kontrollet eksperimentale. Arrin t'i dallojë dy grupet e brezave të kolonive, por supozon se një produkt PCR më i madh do të tregonte klonim të suksesshëm. Mbi këtë bazë propozon korsitë 4, 6, 7 dhe 8; ndërsa krahasimi me kontrollet në përgjigjen e referencës zgjedh korsitë 5, 9 dhe 10.

Astra shpërfill vëzhgimet që kundërshtojnë interpretimin e saj të preferuar. Arrin në përfundimin se vakuolat, ndarje brenda qelizave, janë përgjithësisht më të errëta se pjesa përreth e qelizës, edhe pse disa duken më të çelëta në të njëjtin imazh. Të dyja pamjet kanë rëndësi: ndryshimi i fokusit të mikroskopit mund ta përmbysë kontrastin, ndaj shembujt më të errët nuk përcaktojnë një rregull të përgjithshëm.

Shenjat e numërimit të Astra nuk përputhen në mënyrë të besueshme me kolonitë individuale: nuk arrin t'i dallojë kolonitë shumë pranë njëra-tjetrës, lë pa numëruar koloni të dukshme dhe shënon agar pa koloni. Rezultati përfundimtar për këtë pjatë është një numërim rreth 12% më i lartë se referenca e testit krahasues.

Një numërim i pasaktë i kolonive ndikon drejtpërdrejt në vlerësimin e efikasitetit me të cilin ADN-ja është futur në qeliza. Kur vëllimi i mbjellë në pjatë dhe hollimi mbahen të pandryshuar, numërimi i tepërt e rrit atë vlerësim në të njëjtin përpjesëtim.

Përshpejtimi i kërkimit biologjik kërkon që puna e përditshme të kryhet saktë. BioBasicsBench e bën këtë punë një objektiv përmirësimi: interpretimin e të dhënave eksperimentale të papërpunuara, verifikimin e kontrolleve dhe dallimin kur një përfundim nuk mbështetet nga provat. Përparimi në këto detyra mund t'i ndihmojë shkencëtarët të kalojnë më pak kohë duke zgjidhur probleme dhe më shumë kohë duke vendosur cilat eksperimente të kryejnë më pas. Ndjekja e këtyre aftësive do të na ndihmojë gjithashtu të kuptojmë ndikimet e tyre në sigurinë biologjike dhe në mbrojtjen nga keqpërdorimi biologjik.