Pagsukat sa husay ng mga AI agent sa pang-araw-araw na agham sa wet lab
Ipinapakilala ang BioBasicsBench, isang benchmark na sumusukat sa husay ng mga AI agent sa interpretasyon ng raw na datos mula sa eksperimento sa 100 karaniwang gawain sa wet lab.
Misyon naming tiyaking makikinabang ang buong sangkatauhan sa artificial general intelligence. Bilang bahagi ng misyong iyon, nais naming tulungan ang mga siyentista na mapabilis ang pananaliksik sa biyolohiya—mula sa pag-unawa sa sakit hanggang sa pagbuo ng mga bagong paggamot. Upang makapag-ambag ang mga AI agent, kailangan nilang mapagkakatiwalaang maipaliwanag ang ebidensiya mula sa mga eksperimento na ginagamit ng mga siyentista araw-araw sa mga wet lab, kung saan nagsasagawa sila ng mga eksperimento gamit ang mga biyolohikal na sample. Bahagi ng pang-araw-araw na gawain sa wet lab ang mga nabigong eksperimento, malabong larawan at magkakasalungat na obserbasyon. Maaaring hindi masaklaw ng mga kasalukuyang benchmark na nakabatay sa mga chart at larawang pinili para sa mga siyentipikong papel ang kalabuang ito at ang paglutas ng problemang kailangan nito. Kaya ipinapakilala namin ang BioBasicsBench, isang bagong benchmark na binuo kasama ang Ligo, isang kumpanyang biotech na nakatuon sa pagdisenyo ng enzyme, upang sukatin kung gaano kahusay ang mga agent sa karaniwang wet-lab na pagsusuri.
Sinusubok ng 100 gawain ng benchmark kung kaya ng mga agent na magpaliwanag ng raw na datos mula sa eksperimento, tumukoy ng mga pagkakamali, at makilala kung kailan hindi sapat ang ebidensiya upang suportahan ang isang konklusyon. Mahalagang magawa nang tama ang mga gawaing ito dahil ang maling pagbasa sa isang larawan o hindi pagpansin sa problema sa mga control na ginagamit upang suriin ang resulta ng eksperimento ay maaaring humantong sa maling konklusyon ng mga siyentista at pag-ubos ng oras sa mga eksperimentong hindi makatutulong sa pagsagot sa kanilang tanong.
Sa setting na “xhigh”, na nagbibigay-daan sa higit na pangangatwiran sa bawat gawain, nakakuha ang GPT‑6 Astra ng average na 66.7% ng mga posibleng puntos, kumpara sa 43.8% para sa GPT‑5.6 Sol. Ipinapakita ng mga resulta ang pag-unlad sa karaniwang pagsusuri sa laboratoryo, na maaari pang pagbutihin sa interpretasyon ng mga larawan, pagsusuri ng mga control at paggamit ng konteksto ng eksperimento.
Gumagamit ang BioBasicsBench ng raw na ebidensiya mula sa mga eksperimento, mula sa mga larawan ng gel at colony plate hanggang sa mikroskopiya at mga pagbasa ng instrumento.
May 100 gawain ang BioBasicsBench sa limang larangan ng karaniwang gawain sa wet lab: mga pamamaraan para sa protina, imaging at cytometry, pagsukat ng dami at mga assay, mga pamamaraan para sa nucleic acid, at molecular cloning. Mula sa mga simpleng kahilingan, gaya ng pagbasa ng molecular weight ng isang sample ng DNA sa gel, hanggang sa detalyadong pagsusuri ng assay ang mga gawain, ngunit lahat ay karaniwang gawaing dapat kayang gawin nang maaasahan ng mga siyentista sa wet lab.
Ginawa ng mga siyentista ang mga gawain gamit ang datos mula sa sarili nilang mga eksperimento, at tinambalan ang bawat tanong ng pamantayan sa pagmamarkang isinulat ng mga eksperto. Ang bawat gawain ay sumailalim sa panloob na pagsusuri ng isang siyentista ng Ligo na hindi sumulat nito, panlabas na pagsusuri ng isang siyentistang may PhD na nagtatrabaho sa wet lab, at panghuling panloob na pagsusuri.
Nagbibigay ang mga agent ng sagot na may itinakdang estruktura at naglalaman ng hinihinging konklusyon, sukat o rekomendasyon at, kung kinakailangan, sumusuportang pangangatwiran. Binibigyan ng puntos ang mga sagot batay sa bawat pamantayan sa rubrik, kaya naihihiwalay ng benchmark ang tamang konklusyon sa bahagyang tamang pagsusuri. Sabay-sabay na sinusubok ng karamihan sa mga gawain ang ilang kasanayan, kabilang ang kaalaman sa biyolohiya, interpretasyon ng mga larawan at iba pang datos, pagtukoy sa mga pagkakamali at pag-unawa sa protocol.
Isang beses lang binibilang ang bawat gawain sa “Natatanging mga gawain”. Binibilang ng mga kolum ng kasanayan ang mga gawaing may bawat tag ng kasanayan. Nagkakapatong ang mga kategoryang ito: maaaring lumitaw ang isang gawain sa ilang kolum, kaya hindi dapat pagsamahin ang mga bilang ng kasanayan upang makuha ang kabuuang bilang ng gawain. Tinutukoy ng kulay ang larangan; ipinapakita ng mas matinding kulay ang mas malaking bahagi ng mga gawain sa larangang iyon na sumusubok sa isang kasanayan.
Pinananatili sa mga input ang mga anyo ng ebidensiyang ginagamit ng mga siyentista: mga larawan ng gel at blot, litrato ng plate, microscopy stack, sequencing read, plate-reader export at video ng mga gawain sa mesa ng laboratoryo. Maaaring magsama ang isang gawain ng ilang uri ng datos. Nakatutulong ang mga reference sheet, gaya ng mga ladder chart at plasmid map, sa interpretasyon ng ebidensiya mula sa eksperimento.
Uri ng datos | Mga gawain | Mga kasama rito |
|---|---|---|
Mga gel at blot | 31 | Mga agarose DNA gel, SDS-PAGE gel, Western blot |
Mga protocol, tala at espesipikasyon | 27 | Mga protocol at SOP, kuwaderno sa laboratoryo at tala ng mga run, litrato ng mga sulat-kamay na tala, katalogo, espesipikasyon ng instrumento, nailathalang pamamaraan |
Mga talahanayan at export mula sa instrumento | 20 | Mga CSV at Excel export, layout ng lane at imbentaryo, raw flow cytometry (FCS) file |
Mga litrato ng mesa sa laboratoryo, kagamitan at reagent | 18 | Mga mesa sa laboratoryo, gel rig, reagent at culture tube, isang PCR plate, mga tube rack, pH strip, isang concentrator, isang freezer, isang liquid-handler deck |
Mikroskopiya | 14 | Mga raw brightfield at fluorescence image, multi-channel set, z-stack, time-lapse video |
Mga screen ng instrumento at graph | 13 | Mga litrato ng screen ng flow cytometer, mikroskopyo, NanoDrop, plate reader at timbangan; mga na-export na standard curve, chromatogram at graph |
Mga sequencing file | 12 | Mga raw long-read FASTQ, FASTA sequence, GenBank map |
Mga video ng protocol | 7 | Streaking, inokulasyon, serial dilution, pag-set up ng SDS-PAGE tank at incubator, pagtitimbang |
Mga agar plate at kolonya | 7 | Mga transformation plate, blue/white screening, antibiotic-disc plate |
Mga reference sheet | 21 | Mga ladder chart, plasmid map, pH chart (pantulong na materyal) |
Bilang ng mga gawaing may bawat uri ng datos. Nagkakapatong ang mga kategorya; pantulong na materyal ang mga reference sheet.
Isinulat ng mga siyentista ang mga gawain gamit ang datos mula sa sarili nilang mga eksperimento, at tinambalan ang ebidensiya ng isang tanong at rubrik sa pagmamarkang isinulat ng mga eksperto. Ang bawat gawain ay dumaan sa panloob na pagsusuri ng isang siyentista ng Ligo na hindi sumulat nito, panlabas na pagsusuri ng isang siyentistang may PhD na nagtatrabaho sa wet lab, at panghuling panloob na pagsusuri. Sinuri ng mga tagasuri ang prompt, ebidensiya mula sa eksperimento, rubrik, mga tala ng may-akda at isang minarkahang pagsubok ng modelo.
Minamarkahan ang mga sagot ayon sa rubrik ng gawain, na naglalaan ng puntos sa bawat pamantayan. Depende sa gawain, sinusuri ng mga pamantayang ito ang konklusyon, mga numerikal na resulta, sumusuportang pangangatwiran o pagkilala na hindi sapat ang ebidensiya.
Sinuri namin ang pitong modelo gamit ang BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna at GPT‑6 Astra. Saklaw ng pagsusuri ang 37 kombinasyon ng modelo at antas ng pangangatwiran, na may limang pagsubok sa bawat isa sa 100 gawain sa bawat setting, para sa kabuuang 18,500 resulta.
Iniuulat namin ang average na reward: ang average na marka sa gawain, na ipinapahayag bilang porsiyento ng mga posibleng makuhang puntos. Ipinapakita ng mga error bar ang 95% confidence interval na kinakalkula sa pamamagitan ng muling pagsa-sample ng buong mga gawain, na pinagsasama-sama ang limang pagsubok para sa bawat gawain.
Average na reward kumpara sa average na bilang ng output token bawat gawain, na ipinapakita sa logarithmic na sukatan. Kinakatawan ng bawat punto ang isang sinubok na setting ng antas ng pangangatwiran; pinagdurugtong ng mga linya ang mga setting na iyon ayon sa pagkakasunod-sunod. Dumodoble ang halaga sa x-axis sa bawat marka. Ipinapakita ng mga putol-putol na kahel na linya ang mga modelong GPT‑5, at ng mga tuloy-tuloy na asul na linya ang mga modelong GPT‑6. Ipinapakita ng mapusyaw na mga whisker ang 95% confidence interval mula sa bootstrap ng buong gawain. Kasama sa bawat setting ang lahat ng 100 gawain at limang pagsubok bawat gawain. Magkakaiba ang mga setting ng antas ng pangangatwiran sa bawat modelo.
Malaki ang inilamang ng GPT‑6 Astra sa GPT‑5.6 Sol, kahit sa mababang antas ng pangangatwiran. Ipinahihiwatig ng mga pagbuting ito na maaaring susi ang mas malakas na likas na multimodal na kakayahan sa pagpapahusay ng pagganap sa pang-araw-araw na wet-lab na pagsusuri.
Pagganap sa xhigh na antas ng pangangatwiran
Modelo | Average na reward | 95% CI | Mga output token / gawain |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
Ang Xhigh ang pinakamataas na setting ng antas ng pangangatwiran na iniulat para sa lahat ng pitong modelo. Kasama sa bawat hanay ang lahat ng 100 gawain at limang pagsubok bawat gawain. Kasama sa chart sa itaas ang mga resulta sa antas na Max, kung mayroon.
Karaniwang pagkakamali sa agham ang pagbibigay ng interpretasyong lampas sa sinusuportahan ng datos, lalo na dahil sa pagkiling na nagaganap kapag sinusubok ang isang haypotesis. Nagpakita ang Astra ng mas mahusay na kakayahang matukoy ang hangganan ng ipinapakita ng datos at umiwas sa mga konklusyong walang sapat na batayan.
Sa halimbawang ito, itinuring ng GPT‑5.6 Sol na patay ang mga selula batay sa signal mula sa isang pangkulay na ginagamit upang matukoy ang mga patay na selula. Ngunit maaari ring makasagap ang detector ng liwanag mula sa ikalawang pangkulay, kaya hindi sapat ang liwanag lamang upang mabigyang-katwiran ang konklusyong iyon. Natukoy ng Astra ang kalabuang ito at nagsabing kailangan ng mas mahusay na mga control upang maihiwalay ang mga signal.
Brightfield · liwanag na dumaraan sa sample
Channel 2 · minarkahan ng SYTOX · 470–540 nm
Channel 3 · berdeng FUN-1 · 525–580 nm
Ang parehong mga bahagi ng selula sa tatlong channel; nagsasapawan ang mga saklaw ng detection sa 525–540 nm. Nagbibigay-daan sa interference ang magkaparehong saklaw; hindi pa nasusukat ang dami nito. Ipinapakita ang bawat channel gamit ang hiwalay na linear na sukatan ng intensity, na hindi nagbabago sa dalawang bahagi; hindi maihahambing nang numerikal ang liwanag sa pagitan ng mga channel.
Lubhang multimodal ang siyentipikong pananaliksik at nangangailangan ng patuloy na interpretasyon ng biswal na impormasyon at paggawa ng desisyon. Nagpakita ang Astra ng malaking pagbuti sa paghawak ng multimodal na datos na ibinigay bilang mga litrato at video, gayundin ng mga raw output mula sa sequencing, plate-reader assay, mikroskopiya at flow cytometry.
Sa pinakapayak na antas, kapansin-pansin ang pagbuting ito sa kakayahan ng GPT‑6 Astra na makakita ng mas maliliit na detalye sa mga larawang kinunan sa panahon ng mga eksperimento at sa gayon ay makabuo ng mas tumpak na konklusyon, gaya ng ipinapakita sa halimbawang ito. Sa gawaing ito, hiniling sa mga agent na bumuo ng mga konklusyon mula sa isang eksperimento sa DNA cloning, kung saan mahalaga ang mga control. Walang nakitang kolonya ang GPT‑5.6 Sol sa negative control plate at ibinatay nito ang mga konklusyon sa obserbasyong iyon. Napansin ng GPT‑6 Astra na maling antibiyotiko ang nakalagay sa label ng plate at tama nitong tinanggihang gamitin ito bilang maaasahang control.
Orihinal na litrato
Ang label sa gilid
Ang orihinal na litrato sa benchmark, na may nakabilog at pinalaking label sa gilid. Tinutukoy ng “LB Kan50” ang kanamycin, isang antibiyotikong iba sa ampicillin na ginamit sa eksperimento.
Kailangang maisaisip ng mga siyentista ang kaalaman sa biyolohiya na mula sa karanasan at ang konteksto ng eksperimento habang sinusuri ang datos upang maipaliwanag nang tama ang ipinapakita nito. Nagpakita ang Astra ng mas mahusay na kakayahang panatilihin ang kontekstong ito at gamitin ito sa buong pagsusuri.
Sa isang gawain, ipinakita ang mga selulang lumilinaw at lumalabo sa isang serye ng mga larawan mula sa mikroskopyo. Habang naghahanap ang GPT‑5.6 Sol ng biyolohikal na paliwanag sa tila pagkawala ng mga selula, tama itong natukoy ng GPT‑6 Astra bilang isang z-stack: isang serye ng mga larawang kinunan sa iba't ibang lalim.
0 s
3 s
6 s
9 s
12 s
15 s
Anim na frame mula sa orihinal na recording. Minamarkahan ng mga kahong putol-putol ang linya ang parehong lokasyon habang nag-i-scan ang mikroskopyo sa iba't ibang lalim. Tumutukoy ang mga oras sa posisyon ng playback sa ibinigay na video.
Hindi pa nangangahulugan ang mas mataas na marka sa benchmark na makagagawa ang mga modelo ng maaasahang paghatol sa laboratoryo. Ipinapakita ng mga halimbawang ito ng Astra kung paano maaaring manaig sa ebidensiya ang mga palagay, inaasahang sagot at ibinigay na label, at kung paano maaaring hindi magabayan ng isang tamang obserbasyon sa gitna ng pagsusuri ang pinal na desisyon.
Hinahayaan ng Astra na manaig ang isang pamilyar na palagay kaysa sa interpretasyong sinusuportahan ng mga control sa eksperimento. Napag-iiba nito ang dalawang grupo ng mga band ng kolonya, ngunit ipinapalagay nitong ang mas malaking produkto ng PCR ang palatandaan ng matagumpay na cloning. Batay sa palagay na iyon, iminumungkahi nito ang mga lane 4, 6, 7 at 8; sa halip, pinipili ng paghahambing sa mga control sa sanggunian ang mga lane 5, 9 at 10.
Pinipili ng sanggunian ang mga kolonya 5, 9 at 10; iminumungkahi ng Astra ang 4, 6, 7 at 8.
1: marker · 2: timpla para sa cloning · 3: orihinal na plasmid · 4–10: mga sample ng kolonya
Pagbasa sa mga control
Produkto lamang ng PCR ng orihinal na plasmid ang laman ng lane 3. Ang band nito ang nagsisilbing sangguniang posisyon ng lumang plasmid.
Sa interpretasyon ng sanggunian, nasa lane 2 ang parehong pattern: nag-iiwan ang hindi kumpletong assembly ng lumang template/backbone kasama ng bagong produkto.
Maaaring magtaglay ng luma o bagong plasmid ang mga nabuong kolonya. Ihambing ang mga band ng mga ito sa mga sangguniang pattern na ito.
Pinili ng sanggunian: 5, 9 at 10
Pinili ng Astra: 4, 6, 7 at 8. Iminumungkahi ng Astra ang grupong ito dahil ipinapalagay nitong ang mas malaking produkto ng PCR ang kumakatawan sa nilalayong construct.
Tama ang pagpapangkat batay sa hitsura, ngunit baligtad ang mga pagkakakilanlan sa eksperimento na itinalaga sa mga grupong iyon kumpara sa sanggunian. Kaya maling mga kolonya ang pinipili ng Astra mula sa mga resulta ng colony PCR, na hahantong sa purification ng maling plasmid sa mga susunod na hakbang.
Minamaliit ng Astra ang mga obserbasyong sumasalungat sa pinapaboran nitong interpretasyon. Ipinapalagay nitong karaniwang mas madilim ang mga vacuole, mga kompartimento sa loob ng selula, kaysa sa nakapaligid na bahagi ng selula, kahit na mas maliwanag ang ilan sa parehong larawan. Mahalaga ang parehong anyo: maaaring bumaligtad ang contrast kapag binago ang focus ng mikroskopyo, kaya hindi sapat ang mas madidilim na halimbawa upang magtakda ng pangkalahatang tuntunin.
Mas madilim na anyo
Mas maliwanag na anyo
Hindi isinasaalang-alang ng paglalahat ng Astra tungkol sa mas madidilim na vacuole ang mas maliliwanag na vacuole na nakikita sa parehong field.
Ang hindi naisasaalang-alang ng sagot na iyon
Kabaligtaran ang contrast ng ilang selula. Parehong lumilitaw ang dalawang anyo dahil maaaring bumaligtad ang contrast sa iba't ibang lalim ng focus.
Sinusuri ng Astra ang ilang bahagi at sinasabi pa nitong nag-iiba ang contrast depende sa focus. Pagkatapos, mas binibigyan nito ng timbang ang mga selulang sinasabi nitong mas malinaw ang focus, at ang paglalarawan lamang sa mas madidilim na vacuole ng mga ito ang isinasama sa pinal na sagot. Nasuri ang mga salungat na mas maliwanag na bahagi ngunit hindi isinasaalang-alang ang mga ito sa konklusyon.
Hindi maaasahang tumutugma sa bawat kolonya ang mga marka sa pagbibilang ng Astra: hindi nito mapaghiwalay ang magkakalapit na kolonya, may hindi ito nabilang na nakikitang kolonya, at minamarkahan nito ang agar na walang kolonya. Ang kabuuang resulta sa plate na ito ay labis na bilang na humigit-kumulang 12% kumpara sa sanggunian ng benchmark.
Orihinal na larawan
Mga marka sa pagbibilang ng Astra
Orihinal na larawan
Mga marka sa pagbibilang ng Astra
Orihinal na larawan
Mga marka sa pagbibilang ng Astra
A: isang marka sa pagbibilang sa pagitan ng magkatabing kolonya. B: dalawang nakikitang kolonya na hindi namarkahan. C: agar na walang kolonya, nabilang bilang kolonya. Ipinapakita ng mga pulang bilog ang mga posisyong binilang ng Astra. Ang mga itim na arrow ay mga gabay na idinagdag ng editor.
Direktang nakaaapekto ang hindi tumpak na bilang ng kolonya sa pagtataya kung gaano kahusay na naipasok ang DNA sa mga selula. Kung hindi nagbabago ang dami ng inilagay sa plate at ang dilution, pinatataas ng labis na bilang ang pagtatayang iyon sa parehong proporsiyon.
Upang mapabilis ang pananaliksik sa biyolohiya, kailangang magawa nang tama ang pang-araw-araw na gawain. Ginagawang layunin ng BioBasicsBench ang pagpapahusay sa gawaing iyon: interpretasyon ng raw na datos mula sa eksperimento, pagsusuri ng mga control at pagkilala kung kailan walang sapat na batayan ang isang konklusyon. Maaaring makatulong ang pag-unlad sa mga gawaing ito upang mas kaunting oras ang gugulin ng mga siyentista sa paglutas ng problema at mas maraming oras sa pagpapasya kung aling mga eksperimento ang susunod na isasagawa. Makatutulong din ang pagsubaybay sa mga kakayahang ito upang maunawaan namin ang mga implikasyon ng mga ito para sa biosafety at biosecurity.
