Mengukur keupayaan ejen AI mengendalikan kerja sains harian makmal basah
Memperkenalkan BioBasicsBench, penanda aras yang mengukur keupayaan ejen AI mentafsir data eksperimen mentah merentas 100 tugasan rutin makmal basah.
Misi kami adalah untuk memastikan kecerdasan am buatan memberi manfaat kepada seluruh umat manusia. Sebagai sebahagian daripada misi itu, kami mahu membantu saintis mempercepat penyelidikan biologi—daripada memahami penyakit hingga membangunkan rawatan baharu. Untuk menyumbang, ejen AI perlu mampu mentafsir dengan andal bukti eksperimen yang digunakan saintis setiap hari di makmal basah, tempat mereka menjalankan eksperimen dengan sampel biologi. Kerja harian di makmal basah melibatkan eksperimen yang gagal, imej yang tidak jelas dan pemerhatian yang bercanggah. Penanda aras sedia ada yang dibina berasaskan carta dan imej terpilih untuk makalah saintifik mungkin tidak menangkap kekaburan ini serta penyelesaian masalah yang diperlukannya. Oleh itu, kami memperkenalkan BioBasicsBench, penanda aras baharu yang dibangunkan bersama Ligo, syarikat bioteknologi yang menumpukan reka bentuk enzim, untuk mengukur sejauh mana ejen mampu mengendalikan analisis rutin makmal basah.
Sebanyak 100 tugasan dalam penanda aras ini menguji sama ada ejen dapat mentafsir data eksperimen mentah, mengenal pasti ralat dan menyedari apabila bukti tidak dapat menyokong sesuatu kesimpulan. Ketepatan dalam tugasan ini penting kerana salah tafsir imej atau terlepas pandang masalah pada kawalan yang digunakan untuk menyemak keputusan eksperimen boleh menyebabkan saintis membuat kesimpulan yang salah dan menghabiskan masa pada eksperimen yang tidak dapat bantu menjawab persoalan mereka.
Pada tetapan “xhigh”, yang membolehkan lebih banyak penaakulan bagi setiap tugasan, GPT‑6 Astra memperoleh purata 66.7% daripada markah yang boleh diperoleh, berbanding 43.8% untuk GPT‑5.6 Sol. Keputusan ini menunjukkan kemajuan dalam analisis rutin makmal, dengan ruang untuk penambahbaikan lanjut dalam mentafsir imej, menyemak kawalan dan menggunakan konteks eksperimen.
BioBasicsBench menggunakan bukti eksperimen mentah, daripada imej gel dan piring koloni hingga mikroskopi dan bacaan instrumen.
BioBasicsBench mempunyai 100 tugasan merentas lima bidang kerja rutin makmal basah: kaedah protein, pengimejan dan sitometri, pengkuantitian dan asai, kaedah asid nukleik serta pengklonan molekul. Tugasan merangkumi permintaan mudah, seperti membaca berat molekul sampel DNA dalam gel, hingga analisis asai yang terperinci, tetapi semuanya melibatkan kerja rutin yang sepatutnya dapat diselesaikan dengan andal oleh saintis makmal basah.
Saintis mencipta tugasan menggunakan data daripada eksperimen mereka sendiri, dengan memadankan setiap soalan dengan kriteria pemarkahan yang ditulis oleh pakar. Setiap tugasan menjalani semakan dalaman oleh saintis Ligo yang tidak menulisnya, semakan luaran oleh saintis berkelulusan PhD yang bekerja di makmal basah dan semakan dalaman akhir.
Ejen memberikan jawapan berstruktur yang mengandungi kesimpulan, ukuran atau cadangan yang diminta dan, jika diperlukan, penaakulan sokongan. Jawapan diberi markah berdasarkan setiap kriteria rubrik, membolehkan penanda aras membezakan kesimpulan yang betul daripada analisis yang sebahagiannya betul. Kebanyakan tugasan menguji beberapa kemahiran serentak, termasuk pengetahuan biologi, tafsiran imej dan data lain, pengesanan ralat serta pemahaman protokol.
“Tugasan unik” mengira setiap tugasan sekali sahaja. Lajur kemahiran mengira tugasan dengan setiap tag kemahiran. Kategori ini bertindih: satu tugasan boleh muncul dalam beberapa lajur, maka bilangan dalam lajur kemahiran tidak boleh dijumlahkan untuk mendapatkan jumlah tugasan. Warna mengenal pasti domain; lorekan yang lebih pekat menunjukkan bahagian tugasan domain tersebut yang lebih besar menguji sesuatu kemahiran.
Input mengekalkan bentuk bukti yang digunakan oleh saintis: imej gel dan blot, foto piring, tindanan mikroskopi, bacaan penjujukan, data eksport pembaca plat dan video kerja di meja makmal. Satu tugasan boleh merangkumi beberapa jenis data. Helaian rujukan, seperti carta penanda saiz dan peta plasmid, menyokong tafsiran bukti eksperimen.
Jenis data | Tugasan | Kandungan |
|---|---|---|
Gel & blot | 31 | Gel agarosa DNA, gel SDS-PAGE, blot Western |
Protokol, nota & spesifikasi | 27 | Protokol dan SOP, buku nota makmal dan rekod pengendalian, foto nota tulisan tangan, katalog, spesifikasi instrumen, kaedah yang diterbitkan |
Jadual & data eksport instrumen | 20 | Data eksport CSV dan Excel, susun atur lorong dan inventori, fail sitometri aliran (FCS) mentah |
Foto meja makmal, radas & reagen | 18 | Meja makmal, radas elektroforesis gel, tiub reagen dan kultur, plat PCR, rak tiub, jalur pH, alat pemekat, peti sejuk beku, dek pengendali cecair |
Mikroskopi | 14 | Imej medan cerah dan pendarfluor mentah, set berbilang saluran, tindanan z, video selang masa |
Skrin & plot instrumen | 13 | Foto skrin sitometer aliran, mikroskop, NanoDrop, pembaca plat dan neraca; lengkung piawai, kromatogram dan plot yang dieksport |
Fail penjujukan | 12 | Fail FASTQ bacaan panjang mentah, jujukan FASTA, peta GenBank |
Video protokol | 7 | Penggoresan, inokulasi, pencairan bersiri, persediaan tangki SDS-PAGE dan inkubator, penimbangan dengan neraca |
Piring agar & koloni | 7 | Piring transformasi, saringan biru/putih, piring cakera antibiotik |
Helaian rujukan | 21 | Carta penanda saiz, peta plasmid, carta pH (bahan sokongan) |
Bilangan tugasan yang merangkumi setiap jenis data. Kategori bertindih; helaian rujukan ialah bahan sokongan.
Saintis menulis tugasan menggunakan data daripada eksperimen mereka sendiri, memadankan bukti eksperimen dengan soalan dan rubrik pemarkahan yang ditulis oleh pakar. Setiap tugasan melalui semakan dalaman oleh saintis Ligo yang tidak menulisnya, semakan luaran oleh saintis berkelulusan PhD yang bekerja di makmal basah dan semakan dalaman akhir. Penyemak memeriksa prom, bukti eksperimen, rubrik, nota penulis dan satu percubaan model yang telah diberi markah.
Jawapan dinilai berdasarkan rubrik tugasan, yang memperuntukkan markah kepada setiap kriteria. Bergantung pada tugasan, kriteria ini menilai kesimpulan, hasil berangka, penaakulan sokongan atau pengenalpastian bahawa bukti tidak mencukupi.
Kami menilai tujuh model menggunakan BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna dan GPT‑6 Astra. Penilaian ini merangkumi 37 tetapan model dan usaha penaakulan, dengan lima percubaan bagi setiap satu daripada 100 tugasan pada setiap tetapan, menghasilkan sejumlah 18,500 keputusan.
Kami melaporkan ganjaran min: purata skor tugasan, dinyatakan sebagai peratusan daripada markah yang boleh diperoleh. Bar ralat menunjukkan selang keyakinan 95% yang dikira melalui pensampelan semula keseluruhan tugasan, dengan mengekalkan kelima-lima percubaan bagi setiap tugasan dalam satu kumpulan.
Ganjaran min berbanding purata token output setiap tugasan, dipaparkan pada skala logaritma. Setiap titik mewakili tetapan usaha penaakulan yang diuji; garis menghubungkan tetapan tersebut mengikut urutan. Nilai paksi x berganda pada setiap tanda senggatan. Garis jingga putus-putus menunjukkan model GPT‑5, manakala garis biru padu menunjukkan model GPT‑6. Garis ralat pudar menunjukkan selang keyakinan bootstrap 95% berdasarkan keseluruhan tugasan. Setiap tetapan merangkumi kesemua 100 tugasan dan lima percubaan bagi setiap tugasan. Tetapan usaha berbeza mengikut model.
GPT‑6 Astra menunjukkan peningkatan ketara berbanding GPT‑5.6 Sol, walaupun pada tahap usaha penaakulan yang rendah. Peningkatan ini menunjukkan keupayaan multimodal terbina dalam yang lebih mantap mungkin menjadi kunci untuk meningkatkan prestasi analisis harian di makmal basah.
Prestasi pada tahap usaha penaakulan xhigh
Model | Ganjaran min | Selang keyakinan 95% | Token output / tugasan |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
Xhigh ialah tetapan usaha penaakulan tertinggi yang dilaporkan untuk ketujuh-tujuh model. Setiap baris merangkumi kesemua 100 tugasan dan lima percubaan bagi setiap tugasan. Keputusan pada tahap usaha Max, jika tersedia, disertakan dalam carta di atas.
Kesilapan lazim dalam sains ialah membuat tafsiran yang melampaui bukti dalam data, terutamanya memandangkan kecenderungan bias yang timbul ketika menguji hipotesis. Astra menunjukkan keupayaan yang lebih baik untuk mengenal pasti batasan perkara yang ditunjukkan oleh data dan mengelakkan kesimpulan yang tidak berasas.
Dalam contoh ini, GPT‑5.6 Sol mengelaskan sel sebagai mati berdasarkan isyarat daripada pewarna yang digunakan untuk mengesan sel mati. Namun, pengesan itu juga boleh mengesan cahaya daripada pewarna kedua, maka kecerahan semata-mata tidak cukup untuk menyokong kesimpulan tersebut. Astra mengenal pasti kekaburan ini dan menyarankan kawalan yang lebih baik untuk memisahkan isyarat.
Medan cerah · cahaya terhantar
Saluran 2 · berlabel SYTOX · 470–540 nm
Saluran 3 · FUN-1 hijau · 525–580 nm
Kawasan sel yang sama dalam tiga saluran; julat pengesanan bertindih pada 525–540 nm. Julat bersama ini membolehkan gangguan berlaku; tahapnya belum diukur. Setiap saluran dipaparkan dengan skala keamatan linear berasingan yang ditetapkan sama untuk kedua-dua kawasan; kecerahan tidak boleh dibandingkan secara kuantitatif antara saluran.
Penyelidikan saintifik sangat bersifat multimodal, memerlukan tafsiran visual dan pembuatan keputusan secara berterusan. Astra menunjukkan peningkatan ketara dalam mengendalikan data multimodal yang diberikan dalam bentuk foto dan video, serta output mentah daripada penjujukan, asai pembaca plat, mikroskopi dan sitometri aliran.
Pada peringkat paling asas, peningkatan ini dapat dilihat melalui keupayaan GPT‑6 Astra mengenal pasti butiran lebih halus dalam imej yang diambil semasa eksperimen, lalu membuat kesimpulan yang lebih tepat seperti dalam contoh ini. Tugasan ini meminta ejen membuat kesimpulan daripada eksperimen pengklonan DNA, yang sangat memerlukan kawalan. GPT‑5.6 Sol tidak melihat sebarang koloni pada piring kawalan negatif dan membuat kesimpulan berdasarkan pemerhatian itu. GPT‑6 Astra menyedari bahawa plat tersebut dilabel dengan antibiotik yang salah lalu menolaknya dengan tepat sebagai kawalan yang boleh dipercayai.
Foto asal
Label pada bibir piring
Foto asal penanda aras, dengan label pada bibir piring dibulatkan dan diperbesar. “LB Kan50” menandakan kanamisin, antibiotik yang berbeza daripada ampisilin yang digunakan dalam eksperimen.
Saintis perlu sentiasa mengambil kira pengetahuan biologi tersirat dan konteks eksperimen semasa menganalisis data agar dapat mentafsir perkara yang ditunjukkannya dengan betul. Astra menunjukkan peningkatan keupayaan untuk mengekalkan konteks ini dan menggunakannya sepanjang analisis.
Satu tugasan menunjukkan sel yang bersilih ganti antara keadaan terfokus dan tidak terfokus dalam satu siri imej mikroskop. GPT‑5.6 Sol mencari penjelasan biologi bagi sel yang kelihatan hilang, manakala GPT‑6 Astra mengenal pasti dengan tepat bahawa imej itu ialah tindanan z: satu siri imej yang diambil pada kedalaman berbeza.
0 s
3 s
6 s
9 s
12 s
15 s
Enam bingkai daripada rakaman asal. Kotak bergaris putus-putus menandakan lokasi yang sama ketika mikroskop mengimbas pada kedalaman berbeza. Masa merujuk kepada kedudukan main balik dalam video yang diberikan.
Skor penanda aras yang lebih tinggi belum bermakna model boleh membuat pertimbangan yang boleh dipercayai di makmal. Contoh Astra ini menunjukkan bagaimana andaian, jawapan yang dijangka dan label yang diberikan boleh mengatasi bukti, serta bagaimana pemerhatian yang betul semasa analisis boleh gagal memandu keputusan akhir.
Astra membiarkan andaian lazim mengatasi tafsiran yang disokong oleh kawalan eksperimen. Astra dapat membezakan dua kumpulan jalur koloni itu, tetapi mengandaikan produk PCR yang lebih besar menandakan pengklonan yang berjaya. Berdasarkan andaian itu, Astra mencadangkan lorong 4, 6, 7 dan 8; sebaliknya, perbandingan kawalan dalam rujukan memilih lorong 5, 9 dan 10.
Rujukan memilih koloni 5, 9 dan 10; Astra mencadangkan 4, 6, 7 dan 8.
1: penanda · 2: campuran pengklonan · 3: plasmid asal · 4–10: sampel koloni
Membaca kawalan
Lorong 3 hanya mengandungi PCR plasmid asal. Jalurnya memberikan kedudukan rujukan plasmid lama.
Dalam interpretasi rujukan, lorong 2 mengandungi kedua-dua corak tersebut: pemasangan yang tidak lengkap menyebabkan templat/tulang belakang lama kekal bersama produk baharu.
Koloni yang terhasil boleh membawa sama ada plasmid lama atau baharu. Bandingkan jalurnya dengan corak rujukan ini.
Pilihan rujukan: 5, 9 dan 10
Pilihan Astra: 4, 6, 7 dan 8. Astra memilih kumpulan ini dengan mencadangkan produk PCR yang lebih besar mewakili konstruk yang dikehendaki.
Pengelompokan visualnya betul, tetapi identiti eksperimen yang diberikan kepada kumpulan itu terbalik berbanding rujukan. Oleh itu, Astra memilih koloni yang salah daripada keputusan PCR koloni, yang akan menyebabkan plasmid yang salah ditulenkan pada peringkat seterusnya.
Astra mengetepikan pemerhatian yang bercanggah dengan tafsiran pilihannya. Astra menyimpulkan vakuol, iaitu ruang di dalam sel, lazimnya lebih gelap daripada bahagian sel di sekelilingnya, walaupun ada yang kelihatan lebih cerah dalam imej yang sama. Kedua-dua rupa ini penting: perubahan fokus mikroskop boleh menyongsangkan kontras, maka contoh yang lebih gelap tidak cukup untuk menetapkan aturan umum.
Rupa lebih gelap
Rupa lebih cerah
Generalisasi Astra bahawa vakuol lebih gelap mengabaikan vakuol lebih cerah yang kelihatan dalam medan yang sama.
Perkara yang tidak diambil kira dalam jawapan itu
Sesetengah sel mempunyai kontras yang bertentangan. Kedua-dua rupa ini berlaku kerana kedalaman fokus yang berbeza boleh menyongsangkan kontras.
Astra memeriksa beberapa kawasan malah menyatakan kontras berubah mengikut fokus. Kemudian, Astra lebih mengutamakan sel yang dianggapnya lebih terfokus dan hanya mengekalkan huraian tentang vakuol yang lebih gelap dalam sel tersebut dalam jawapan akhir. Kawasan lebih cerah yang bercanggah dengan huraian itu telah diperiksa tetapi tidak diambil kira dalam kesimpulan.
Tanda kiraan Astra tidak memadankan setiap koloni dengan andal: Astra gagal membezakan koloni yang berdekatan, terlepas koloni yang kelihatan dan menandakan agar kosong. Hasil bersih pada piring ini ialah kiraan berlebihan kira-kira 12% berbanding rujukan penanda aras.
Imej asal
Tanda kiraan Astra
Imej asal
Tanda kiraan Astra
Imej asal
Tanda kiraan Astra
A: satu tanda kiraan di antara koloni bersebelahan. B: dua koloni yang kelihatan dibiarkan tanpa tanda. C: agar kosong dikira sebagai koloni. Bulatan merah menunjukkan kedudukan kiraan Astra. Anak panah hitam ialah panduan editorial.
Kiraan koloni yang tidak tepat memberi kesan langsung kepada anggaran kecekapan DNA dimasukkan ke dalam sel. Apabila isi padu yang disebarkan pada piring dan pencairan dikekalkan, kiraan berlebihan meningkatkan anggaran itu pada nisbah yang sama.
Untuk mempercepat penyelidikan biologi, kerja harian perlu dilakukan dengan betul. BioBasicsBench menjadikan kerja itu sasaran penambahbaikan: mentafsir data eksperimen mentah, menyemak kawalan dan mengenal pasti apabila kesimpulan tidak disokong bukti. Kemajuan dalam tugasan ini boleh membantu saintis mengurangkan masa menyelesaikan masalah dan meluangkan lebih banyak masa untuk menentukan eksperimen seterusnya. Memantau keupayaan ini juga akan membantu kami memahami implikasinya terhadap biokeselamatan dan biosekuriti.
