Ngukur kabisan agen AI nangani pakaryan saben dina ing lab basah
Ngenalake BioBasicsBench, tolok ukur kabisan agen AI napsirake data eksperimen mentah ing 100 tugas rutin lab basah.
Misi kita yaiku mesthekake yen kecerdhasan umum tiruan migunani tumrap kabeh umat manungsa. Minangka bagean saka misi kasebut, kita kepengin mbantu ilmuwan nyepetake panaliten biologi—wiwit mangerteni penyakit nganti ngembangake pangobatan anyar. Supaya agen AI bisa menehi sumbangsih, agen kudu bisa dipercaya anggone napsirake bukti eksperimen sing digunakake ilmuwan saben dina ing lab basah, papan kanggo nindakake eksperimen nganggo sampel biologis. Pakaryan saben dina ing lab basah nglibatake eksperimen sing gagal, gambar sing ambigu lan pengamatan sing padha sulaya. Tolok ukur sing wis ana, sing adhedhasar bagan lan gambar pilihan kanggo makalah ilmiah, bisa uga ora nyakup ambiguitas iki lan upaya ngatasi masalah sing dibutuhake. Mula kita ngenalake BioBasicsBench, tolok ukur anyar sing dikembangake bareng Ligo, perusahaan bioteknologi sing fokus ing rancangan enzim, kanggo ngukur sepira apike agen nangani analisis rutin ing lab basah.
Tolok ukur iki ngemot 100 tugas kanggo nguji apa agen bisa napsirake data eksperimen mentah, ngenali kaluputan, lan mangerteni nalika bukti ora cukup kanggo nyengkuyung dudutan. Ngrampungake tugas iki kanthi bener penting amarga salah maca gambar utawa ora nggatekake masalah ing kontrol kanggo mriksa asil eksperimen bisa njalari ilmuwan nggawe dudutan sing salah lan mbuwang wektu kanggo eksperimen sing ora bakal mbantu mangsuli pitakone.
Ing setelan “xhigh”, sing ngidini luwih akeh nalar kanggo saben tugas, GPT‑6 Astra nggayuh rata-rata 66,7% saka poin maksimal, dibandhingake karo 43,8% kanggo GPT‑5.6 Sol. Asile nuduhake kemajuan ing analisis lab rutin, nanging isih ana bab sing bisa ditingkatake ing napsirake gambar, mriksa kontrol lan ngetrapake konteks eksperimen.
BioBasicsBench nggunakake bukti eksperimen mentah, wiwit gambar gel lan cawan koloni nganti mikroskopi lan asil wacan instrumen.
BioBasicsBench duwe 100 tugas ing limang bidhang pakaryan rutin lab basah: metode protein, pencitraan lan sitometri, kuantifikasi lan uji, metode asam nukleat, lan kloning molekuler. Tugase wiwit panjaluk prasaja, kayata maca bobot molekul sampel DNA ing gel, nganti analisis uji sing rinci, nanging kabeh nglibatake pakaryan rutin sing kudune bisa dirampungake ilmuwan lab basah kanthi andal.
Ilmuwan nggawe tugas nganggo data saka eksperimene dhewe, lan saben pitakon dipasangake karo kriteria pambiji sing ditulis para ahli. Saben tugas ditinjau sacara internal dening ilmuwan Ligo sing ora nulis tugas kasebut, ditinjau sacara eksternal dening ilmuwan tingkat PhD sing makarya ing lab basah, banjur ditinjau internal maneh kanggo pungkasan.
Agen menehi wangsulan terstruktur sing ngemot dudutan, pangukuran utawa rekomendasi sing dijaluk lan, yen dibutuhake, nalar panyengkuyung. Wangsulan diwenehi poin adhedhasar saben kriteria rubrik, saengga tolok ukur bisa mbedakake dudutan sing bener saka analisis sing mung bener sapérangan. Umume tugas nguji sawetara katrampilan bebarengan, kalebu kawruh biologi, penafsiran gambar lan data liyane, deteksi kaluputan lan pangerten protokol.
“Tugas unik” ngetung saben tugas mung sapisan. Kolom katrampilan ngetung tugas kanthi saben label katrampilan. Kategori iki tumpang tindih: siji tugas bisa katon ing sawetara kolom, mula cacah ing kolom katrampilan ora kena dijumlahake kanggo entuk gunggunge tugas. Werna nuduhake bidhang; werna sing luwih pekat nuduhake proporsi tugas ing bidhang kasebut sing nguji sawijining katrampilan luwih gedhe.
Input tetep njaga wujud bukti sing digunakake ilmuwan: gambar gel lan blot, foto cawan, tumpukan gambar mikroskopi, wacan sekuensing, ekspor data pamaca pelat lan video pakaryan ing meja lab. Siji tugas bisa ngemot sawetara jinis data. Lembar rujukan, kayata bagan ladder lan peta plasmid, nyengkuyung penafsiran bukti eksperimen.
Jinis data | Tugas | Isine |
|---|---|---|
Gel & blot | 31 | Gel agarosa DNA, gel SDS-PAGE, Western blot |
Protokol, cathetan & spesifikasi | 27 | Protokol lan SOP, buku cathetan lab lan rekaman proses, foto cathetan tulisan tangan, katalog, spesifikasi instrumen, metode sing wis diterbitake |
Tabel & ekspor data instrumen | 20 | Ekspor CSV lan Excel, tata letak lajur lan inventaris, berkas mentah sitometri aliran (FCS) |
Foto meja lab, piranti & reagen | 18 | Meja lab, piranti elektroforesis gel, tabung reagen lan kultur, pelat PCR, rak tabung, strip pH, konsentrator, mesin pembeku, dek piranti penanganan cairan |
Mikroskopi | 14 | Gambar mentah medan padhang lan fluoresensi, kumpulan multikanal, z-stack, video selang wektu |
Layar instrumen & grafik | 13 | Foto layar sitometer aliran, mikroskop, NanoDrop, pamaca pelat lan timbangan; kurva standar, kromatogram lan grafik sing diekspor |
Berkas sekuensing | 12 | FASTQ mentah kanthi wacan dawa, sekuens FASTA, peta GenBank |
Video protokol | 7 | Nggaris kultur, inokulasi, pengenceran bertingkat, nyiyapake tangki SDS-PAGE lan inkubator, nimbang nganggo timbangan |
Cawan agar & koloni | 7 | Cawan transformasi, skrining biru/putih, cawan cakram antibiotik |
Lembar rujukan | 21 | Bagan ladder, peta plasmid, bagan pH (bahan panyengkuyung) |
Cacahing tugas sing ngemot saben jinis data. Kategorine tumpang tindih; lembar rujukan minangka bahan panyengkuyung.
Ilmuwan nulis tugas nganggo data saka eksperimene dhewe, masangake bukti eksperimen karo pitakon lan rubrik pambiji sing ditulis ahli. Saben tugas ditinjau sacara internal dening ilmuwan Ligo sing ora nulis tugas kasebut, ditinjau sacara eksternal dening ilmuwan tingkat PhD sing makarya ing lab basah, banjur ditinjau internal maneh kanggo pungkasan. Para paninjau mriksa prompt, bukti eksperimen, rubrik, cathetan panulis lan sawijining upaya model sing wis dibiji.
Wangsulan dibiji adhedhasar rubrik tugas, sing menehi poin kanggo saben kriteria. Gumantung tugase, kriteria kasebut mbiji dudutan, asil angka, nalar panyengkuyung utawa pangerten manawa buktine durung cukup.
Kita ngevaluasi pitung model ing BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna lan GPT‑6 Astra. Evaluasi iki nyakup 37 setelan kombinasi model lan upaya nalar, kanthi limang upaya kanggo saben tugas saka 100 tugas ing saben setelan, saengga gunggunge ana 18.500 asil.
Kita nglaporake rata-rata skor: rata-rata biji tugas, sing ditulis minangka persentase saka poin maksimal sing bisa digayuh. Garis galat nuduhake interval kapercayan 95% sing diitung kanthi njupuk sampel ulang tugas kanthi wutuh, kanthi limang upaya kanggo saben tugas tetep dadi siji.
Rata-rata skor dibandhingake karo rata-rata token output saben tugas, ditampilake ing skala logaritmik. Saben titik nuduhake setelan upaya nalar sing diuji; garis nyambungake setelan kasebut kanthi urut. Nilai sumbu x mundhak tikel loro ing saben tandha. Garis jingga pedhot-pedhot nuduhake model GPT‑5, lan garis biru wutuh nuduhake model GPT‑6. Garis rentang samar nuduhake interval kapercayan bootstrap 95% kanthi tugas wutuh minangka unit sampel. Saben setelan nyakup kabeh 100 tugas lan limang upaya saben tugas. Setelan upaya beda-beda antarmodel.
GPT‑6 Astra luwih unggul tinimbang GPT‑5.6 Sol kanthi prabédan gedhe, sanajan nganggo upaya nalar sing sithik. Peningkatan iki nuduhake manawa kabisan multimodal bawaan sing luwih kuwat bisa dadi kunci kanggo ningkatake kinerja analisis rutin ing lab basah.
Kinerja ing upaya nalar xhigh
Model | Rata-rata skor | Interval kapercayan 95% | Token output / tugas |
|---|---|---|---|
GPT‑6 Astra | 66,7% | 60,3–73,1% | 4.704 |
GPT‑6.1 Sol | 62,0% | 55,6–68,4% | 5.238 |
GPT‑5.6 Sol | 43,8% | 37,6–50,0% | 9.099 |
GPT‑6 Luna | 38,3% | 32,3–44,5% | 13.120 |
GPT‑5.5 | 35,4% | 29,7–41,0% | 11.135 |
GPT‑5.4 | 33,2% | 28,3–38,4% | 13.717 |
GPT‑5.2 | 31,2% | 26,2–36,3% | 27.620 |
Xhigh minangka setelan upaya nalar paling dhuwur sing dilaporake kanggo kabeh pitung model. Saben larik nyakup kabeh 100 tugas lan limang upaya saben tugas. Asil setelan Dipikir Maksimal, yen kasedhiya, dilebokake ing grafik ing ndhuwur.
Salah sawijining jebakan umum ing sains yaiku napsirake data kanthi keladuk, luwih-luwih amarga sipat bias sing muncul nalika nguji hipotesis. Astra nuduhake kabisan sing luwih apik kanggo mangerteni wates apa sing bisa dituduhake data lan ora nggawe dudutan sing ora ana dhasare.
Ing tuladha iki, GPT‑5.6 Sol nggolongake sel minangka sel mati adhedhasar sinyal saka pewarna sing digunakake kanggo ndeteksi sel mati. Nanging detektor uga bisa nangkep cahya saka pewarna kapindho, mula padhange wae ora cukup kanggo mbenerake dudutan kasebut. Astra mangerteni kahanan sing ambigu iki lan njaluk kontrol sing luwih apik kanggo misahake sinyal-sinyal kasebut.
Medan padhang · cahya sing diterusake
Kanal 2 · diwenehi label SYTOX · 470–540 nm
Kanal 3 · FUN-1 ijo · 525–580 nm
Area sel sing padha ing telung kanal; rentang deteksine tumpang tindih ing 525–540 nm. Rentang sing padha iki ngidini interferensi; gedhene durung diukur. Saben kanal ditampilake nganggo skala intensitas linear dhewe-dhewe, sing tetep padha kanggo kaloro area; padhange ora bisa dibandhingake sacara kuantitatif antarkanal.
Panaliten ilmiah nglibatake akeh modalitas, saengga mbutuhake penafsiran visual lan pancasan kanthi terus-terusan. Astra nuduhake peningkatan gedhe ing nangani data multimodal awujud foto lan video, uga asil mentah saka sekuensing, uji nganggo pamaca pelat, mikroskopi lan sitometri aliran.
Ing tataran paling dhasar, peningkatan iki katon saka kabisan GPT‑6 Astra nangkep rincian sing luwih cilik ing gambar sing dijupuk sajrone eksperimen, saengga bisa nggawe dudutan luwih akurat kaya ing tuladha iki. Tugas iki njaluk agen nggawe dudutan saka eksperimen kloning DNA, sing mbutuhake kontrol. GPT‑5.6 Sol ora weruh koloni ing cawan kontrol negatif lan nggawe dudutan adhedhasar pengamatan kasebut. GPT‑6 Astra nggatekake manawa cawan kasebut diwenehi label antibiotik sing salah lan kanthi bener nolak cawan iku minangka kontrol sing bisa dipercaya.
Foto asli
Label ing pinggir cawan
Foto asli saka tolok ukur, kanthi label ing pinggir cawan diwenehi tandha bunder lan digedhekake. “LB Kan50” nuduhake kanamisin, antibiotik sing beda karo ampisilin sing digunakake ing eksperimen.
Ilmuwan kudu bisa tetep ngelingi kawruh biologi implisit lan konteks eksperimen nalika nganalisis data supaya bisa napsirake apa sing dituduhake kanthi bener. Astra nuduhake kabisan sing luwih apik kanggo njaga konteks iki lan ngetrapake sajrone analisis.
Salah sawijining tugas nuduhake sel sing katon fokus banjur ora fokus ing rerangken gambar mikroskop. Nalika GPT‑5.6 Sol nggoleki panjelasan biologis kanggo sel sing katon ilang, GPT‑6 Astra kanthi bener ngenali z-stack: rerangken gambar sing dijupuk ing ambane sing beda-beda.
0 s
3 s
6 s
9 s
12 s
15 s
Enem bingkai saka rekaman asli. Kothak garis pedhot-pedhot menehi tandha lokasi sing padha nalika mikroskop mindhai ing ambane sing beda-beda. Wektu nuduhake posisi puter maneh ing video sing diwenehake.
Skor tolok ukur sing luwih dhuwur durung ateges model bisa nggawe pambiji sing bisa dipercaya ing lab. Tuladha Astra iki nuduhake kepiye asumsi, wangsulan sing dikarepake lan label sing diwenehake bisa luwih diutamakake tinimbang bukti, lan kepiye pengamatan sing bener ing tengah proses bisa gagal nuntun pancasan pungkasan.
Astra nengenake asumsi sing wis umum tinimbang penafsiran sing disengkuyung kontrol eksperimen. Astra bisa mbedakake rong klompok pita koloni, nanging nganggep manawa produk PCR sing luwih gedhe nuduhake kloning sing kasil. Adhedhasar asumsi kasebut, Astra ngusulake lajur 4, 6, 7 lan 8; nanging perbandhingan kontrol ing rujukan milih lajur 5, 9 lan 10.
Rujukan milih koloni 5, 9 lan 10; Astra ngusulake 4, 6, 7 lan 8.
1: panandha · 2: campuran kloning · 3: plasmid asli · 4–10: sampel koloni
Maca kontrol
Lajur 3 mung ngemot asil PCR plasmid asli. Pitane menehi posisi rujukan kanggo plasmid lawas.
Ing penafsiran rujukan, lajur 2 ngemot kaloro pola: perakitan sing durung rampung ninggalake cithakan/rangka lawas bebarengan karo produk anyar.
Koloni sing diasilake bisa nggawa plasmid lawas utawa anyar. Bandhingake pitane karo pola rujukan iki.
Pilihan rujukan: 5, 9 lan 10
Pilihan Astra: 4, 6, 7 lan 8. Astra milih klompok iki kanthi anggepan manawa produk PCR sing luwih gedhe nuduhake konstruk sing dikarepake.
Panglompokan visuale bener, nanging identitas eksperimen sing dipasangake ing klompok kasebut kuwalik dibandhingake karo rujukan. Mula Astra milih koloni sing salah saka asil PCR koloni, sing bakal njalari plasmid sing salah dimurnekake ing tahap sabanjure.
Astra nglirwakake pengamatan sing mbantah penafsiran pilihane. Astra nggawe dudutan manawa vakuola, kompartemen ing njero sel, umume luwih peteng tinimbang bagean sel ing sakiwa-tengene, sanajan sawetara katon luwih padhang ing gambar sing padha. Kaloro tampilan iku penting: owahing fokus mikroskop bisa mbalikke kontras, mula tuladha sing luwih peteng ora bisa dadi dhasar paugeran umum.
Tampilan luwih peteng
Tampilan luwih padhang
Generalisasi Astra manawa vakuola luwih peteng nglirwakake vakuola sing luwih padhang ing medan pandang sing padha.
Bab sing dilirwakake ing wangsulan kasebut
Sawetara sel duwe kontras sing kuwalik. Kaloro tampilan kasebut muncul amarga ambane fokus sing beda bisa mbalikke kontras.
Astra mriksa sawetara area lan malah nyebutake manawa kontras owah manut fokus. Banjur Astra luwih nengenake sel sing dianggep luwih fokus lan mung njupuk katrangan babagan vakuola sing luwih peteng ing sel-sel kasebut kanggo wangsulan pungkasane. Area sing luwih padhang lan mbantah penafsiran kasebut wis dipriksa, nanging ora ditimbang ing dudutan.
Tandha itungan Astra ora mesthi cocog karo saben koloni: Astra gagal mbedakake koloni sing cedhak siji lan sijine, ora ngetung koloni sing katon lan malah menehi tandha ing agar kosong. Asil pungkasane ing cawan iki yaiku kaluwihan itungan watara 12% dibandhingake karo rujukan tolok ukur.
Gambar asli
Tandha itungan Astra
Gambar asli
Tandha itungan Astra
Gambar asli
Tandha itungan Astra
A: siji tandha itungan ing antarane koloni sing jejer. B: rong koloni sing katon ora diwenehi tandha. C: agar kosong diitung minangka koloni. Bunder abang nuduhake posisi itungan Astra. Panah ireng minangka pituduh saka editor.
Itungan koloni sing ora akurat langsung mengaruhi prakiraan efisiensi lebune DNA menyang sel. Yen volume sing ditandur ing cawan lan pengencerane tetep, kaluwihan itungan bakal nggedhekake prakiraan kasebut kanthi proporsi sing padha.
Nyepetake panaliten biologi mbutuhake pakaryan saben dina ditindakake kanthi bener. BioBasicsBench ndadekake pakaryan kasebut sasaran peningkatan: napsirake data eksperimen mentah, mriksa kontrol lan mangerteni nalika dudutan ora disengkuyung bukti. Kemajuan ing tugas iki bisa mbantu ilmuwan nyuda wektu kanggo ngatasi masalah lan menehi luwih akeh wektu kanggo nemtokake eksperimen sabanjure. Ngawasi kabisan iki uga bakal mbantu kita mangerteni implikasine tumrap kaslametan lan keamanan hayati.
