Mengukur kemampuan agen AI menangani pekerjaan rutin laboratorium basah
Memperkenalkan BioBasicsBench, tolok ukur kemampuan agen AI menafsirkan data eksperimen mentah dalam 100 tugas rutin laboratorium basah.
Misi kami adalah memastikan kecerdasan umum buatan bermanfaat bagi seluruh umat manusia. Sebagai bagian dari misi tersebut, kami ingin membantu ilmuwan mempercepat penelitian biologi—mulai dari memahami penyakit hingga mengembangkan pengobatan baru. Agar dapat berkontribusi, agen AI harus mampu menafsirkan secara andal bukti eksperimen yang digunakan ilmuwan setiap hari di laboratorium basah, tempat mereka melakukan eksperimen dengan sampel biologis. Pekerjaan sehari-hari di laboratorium basah melibatkan eksperimen yang gagal, gambar yang ambigu, dan pengamatan yang saling bertentangan. Tolok ukur yang ada disusun berdasarkan grafik dan gambar pilihan untuk makalah ilmiah, sehingga mungkin tidak menangkap ambiguitas ini maupun pemecahan masalah yang diperlukan. Karena itu, kami memperkenalkan BioBasicsBench, tolok ukur baru yang dikembangkan bersama Ligo, perusahaan bioteknologi yang berfokus pada desain enzim, untuk mengukur seberapa baik agen menangani analisis rutin di laboratorium basah.
Seratus tugas dalam tolok ukur ini menguji apakah agen dapat menafsirkan data eksperimen mentah, mengidentifikasi kesalahan, dan mengenali kapan bukti tidak cukup untuk mendukung kesimpulan. Ketepatan dalam tugas-tugas ini penting karena salah membaca gambar atau luput melihat masalah pada kontrol yang digunakan untuk memeriksa hasil eksperimen dapat membuat ilmuwan menarik kesimpulan keliru dan menghabiskan waktu untuk eksperimen yang tidak membantu menjawab pertanyaan mereka.
Pada pengaturan “xhigh”, yang memungkinkan lebih banyak penalaran per tugas, GPT‑6 Astra meraih rata-rata 66,7% dari poin yang tersedia, dibandingkan 43,8% untuk GPT‑5.6 Sol. Hasil ini menunjukkan kemajuan dalam analisis lab rutin, dengan ruang untuk peningkatan lebih lanjut dalam menafsirkan gambar, memeriksa kontrol, dan menerapkan konteks eksperimen.
BioBasicsBench menggunakan bukti eksperimen mentah, mulai dari citra gel dan cawan koloni hingga mikroskopi dan hasil pembacaan instrumen.
BioBasicsBench memiliki 100 tugas dalam lima bidang pekerjaan rutin laboratorium basah: metode protein, pencitraan dan sitometri, kuantifikasi dan pengujian, metode asam nukleat, serta kloning molekuler. Tugasnya berkisar dari permintaan sederhana, seperti membaca berat molekul sampel DNA dalam gel, hingga analisis uji yang mendetail. Namun, semuanya merupakan pekerjaan rutin yang semestinya dapat diselesaikan secara andal oleh ilmuwan laboratorium basah.
Ilmuwan menyusun tugas menggunakan data dari eksperimen mereka sendiri, memasangkan setiap pertanyaan dengan kriteria penilaian yang ditulis oleh pakar. Setiap tugas menjalani tinjauan internal oleh ilmuwan Ligo yang bukan penulisnya, tinjauan eksternal oleh ilmuwan bergelar PhD yang bekerja di laboratorium basah, dan tinjauan internal akhir.
Agen memberikan jawaban terstruktur berisi kesimpulan, pengukuran, atau rekomendasi yang diminta, beserta penalaran pendukung jika diperlukan. Jawaban memperoleh poin berdasarkan masing-masing kriteria rubrik, sehingga tolok ukur dapat membedakan kesimpulan yang benar dari analisis yang sebagian benar. Sebagian besar tugas menguji beberapa keterampilan sekaligus, termasuk pengetahuan biologi, interpretasi gambar dan data lain, deteksi kesalahan, serta pemahaman protokol.
“Tugas unik” menghitung setiap tugas satu kali. Kolom keterampilan menghitung tugas dengan masing-masing tag keterampilan. Kategori ini saling tumpang tindih: satu tugas dapat muncul di beberapa kolom, sehingga jumlah per keterampilan tidak boleh dijumlahkan untuk memperoleh total tugas. Warna menunjukkan bidang; warna yang lebih pekat menunjukkan proporsi lebih besar dari tugas dalam bidang tersebut yang menguji suatu keterampilan.
Masukan tetap mempertahankan bentuk bukti yang digunakan ilmuwan: citra gel dan blot, foto cawan, tumpukan citra mikroskopi, hasil pembacaan sekuensing, ekspor data pembaca pelat, dan video pekerjaan di meja lab. Satu tugas dapat mencakup beberapa jenis data. Lembar referensi, seperti bagan penanda ukuran molekul dan peta plasmid, membantu interpretasi bukti eksperimen.
Jenis data | Tugas | Cakupan |
|---|---|---|
Gel & blot | 31 | Gel agarosa DNA, gel SDS-PAGE, Western blot |
Protokol, catatan & spesifikasi | 27 | Protokol dan SOP, buku catatan lab dan rekaman pelaksanaan eksperimen, foto catatan tulisan tangan, katalog, spesifikasi instrumen, metode yang dipublikasikan |
Tabel & ekspor data instrumen | 20 | Ekspor CSV dan Excel, tata letak lajur dan inventaris, file mentah sitometri alir (FCS) |
Foto meja lab, peralatan & reagen | 18 | Meja lab, perangkat elektroforesis gel, tabung reagen dan kultur, pelat PCR, rak tabung, strip pH, konsentrator, freezer, dek alat penanganan cairan |
Mikroskopi | 14 | Citra mentah medan terang dan fluoresensi, kumpulan citra multikanal, z-stack, video selang waktu |
Layar instrumen & grafik | 13 | Foto layar sitometer alir, mikroskop, NanoDrop, pembaca pelat, dan neraca; hasil ekspor kurva standar, kromatogram, dan grafik |
File sekuensing | 12 | File FASTQ mentah hasil pembacaan panjang, sekuens FASTA, peta GenBank |
Video protokol | 7 | Penggoresan, inokulasi, pengenceran berseri, penyiapan tangki SDS-PAGE dan inkubator, penimbangan dengan neraca |
Cawan agar & koloni | 7 | Cawan transformasi, skrining biru/putih, cawan dengan cakram antibiotik |
Lembar referensi | 21 | Bagan penanda ukuran molekul, peta plasmid, bagan pH (materi pendukung) |
Jumlah tugas yang mencakup setiap jenis data. Kategori saling tumpang tindih; lembar referensi merupakan materi pendukung.
Ilmuwan menyusun tugas menggunakan data dari eksperimen mereka sendiri, memasangkan bukti eksperimen dengan pertanyaan dan rubrik penilaian yang ditulis oleh pakar. Setiap tugas melewati tinjauan internal oleh ilmuwan Ligo yang bukan penulisnya, tinjauan eksternal oleh ilmuwan bergelar PhD yang bekerja di laboratorium basah, dan tinjauan internal akhir. Peninjau memeriksa prompt, bukti eksperimen, rubrik, catatan penulis, dan satu percobaan jawaban model yang telah dinilai.
Jawaban dinilai berdasarkan rubrik tugas, yang memberikan poin untuk setiap kriteria. Bergantung pada tugasnya, kriteria ini menilai kesimpulan, hasil numerik, penalaran pendukung, atau pengakuan bahwa bukti tidak memadai.
Kami mengevaluasi tujuh model menggunakan BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna, dan GPT‑6 Astra. Evaluasi ini mencakup 37 kombinasi model dan pengaturan upaya penalaran, dengan lima percobaan untuk masing-masing dari 100 tugas pada setiap pengaturan, sehingga menghasilkan total 18.500 hasil.
Kami melaporkan imbalan rata-rata: skor tugas rata-rata, yang dinyatakan sebagai persentase dari poin yang tersedia. Batang galat menunjukkan interval kepercayaan 95% yang dihitung dengan pengambilan sampel ulang pada tingkat tugas utuh, dengan kelima percobaan untuk setiap tugas tetap dikelompokkan.
Imbalan rata-rata dibandingkan rata-rata token keluaran per tugas, ditampilkan pada skala logaritmik. Setiap titik mewakili pengaturan upaya penalaran yang diuji; garis menghubungkan pengaturan tersebut secara berurutan. Nilai sumbu x berlipat dua pada setiap tanda skala. Garis oranye putus-putus menunjukkan model GPT‑5, dan garis biru utuh menunjukkan model GPT‑6. Garis galat samar menunjukkan interval kepercayaan bootstrap 95% pada tingkat tugas utuh. Setiap pengaturan mencakup seluruh 100 tugas dan lima percobaan per tugas. Pengaturan upaya berbeda antarmodel.
GPT‑6 Astra jauh lebih unggul daripada GPT‑5.6 Sol, bahkan pada upaya penalaran rendah. Peningkatan ini menunjukkan bahwa kemampuan multimodal bawaan yang lebih kuat mungkin menjadi kunci untuk meningkatkan kinerja analisis rutin di laboratorium basah.
Kinerja pada upaya penalaran xhigh
Model | Imbalan rata-rata | IK 95% | Token keluaran / tugas |
|---|---|---|---|
GPT‑6 Astra | 66,7% | 60,3–73,1% | 4.704 |
GPT‑6.1 Sol | 62,0% | 55,6–68,4% | 5.238 |
GPT‑5.6 Sol | 43,8% | 37,6–50,0% | 9.099 |
GPT‑6 Luna | 38,3% | 32,3–44,5% | 13.120 |
GPT‑5.5 | 35,4% | 29,7–41,0% | 11.135 |
GPT‑5.4 | 33,2% | 28,3–38,4% | 13.717 |
GPT‑5.2 | 31,2% | 26,2–36,3% | 27.620 |
Xhigh adalah pengaturan upaya penalaran tertinggi yang dilaporkan untuk ketujuh model. Setiap baris mencakup seluruh 100 tugas dan lima percobaan per tugas. Hasil pada upaya Max, jika tersedia, disertakan dalam grafik di atas.
Salah satu kekeliruan umum dalam sains adalah menafsirkan data secara berlebihan, terutama mengingat bias yang muncul saat menguji hipotesis. Astra menunjukkan kemampuan yang lebih baik dalam mengenali batas informasi yang ditunjukkan data dan menghindari kesimpulan tanpa dasar yang memadai.
Dalam contoh ini, GPT‑5.6 Sol mengklasifikasikan sel sebagai sel mati berdasarkan sinyal dari pewarna yang digunakan untuk mendeteksi sel mati. Namun, detektor juga dapat menangkap cahaya dari pewarna kedua, sehingga kecerahan saja tidak cukup untuk membenarkan kesimpulan tersebut. Astra mengenali ambiguitas ini dan meminta kontrol yang lebih baik untuk memisahkan sinyal.
Medan terang · cahaya transmisi
Kanal 2 · berlabel SYTOX · 470–540 nm
Kanal 3 · FUN-1 hijau · 525–580 nm
Area sel yang sama dalam tiga kanal; rentang deteksi tumpang tindih pada 525–540 nm. Rentang bersama ini memungkinkan interferensi; besarannya belum diukur. Setiap kanal ditampilkan dengan skala intensitas linear tersendiri yang tetap sama untuk kedua area; kecerahan tidak dapat dibandingkan secara kuantitatif antarkanal.
Penelitian ilmiah sangat bersifat multimodal, sehingga membutuhkan interpretasi visual dan pengambilan keputusan secara terus-menerus. Astra menunjukkan peningkatan signifikan dalam menangani data multimodal berupa foto dan video, serta keluaran mentah dari sekuensing, uji dengan pembaca pelat, mikroskopi, dan sitometri alir.
Pada tingkat paling dasar, peningkatan ini terlihat dari kemampuan GPT‑6 Astra menangkap detail yang lebih halus pada gambar yang diambil selama eksperimen, sehingga dapat menarik kesimpulan yang lebih akurat seperti dalam contoh ini. Tugas ini meminta agen menarik kesimpulan dari eksperimen kloning DNA, yang sangat bergantung pada kontrol. GPT‑5.6 Sol tidak melihat koloni pada cawan kontrol negatif dan mendasarkan kesimpulannya pada pengamatan tersebut. GPT‑6 Astra menyadari bahwa cawan itu berlabel antibiotik yang salah dan dengan tepat menolaknya sebagai kontrol yang dapat diandalkan.
Foto asli
Label di tepi cawan
Foto asli dari tolok ukur, dengan label di tepi cawan dilingkari dan diperbesar. “LB Kan50” menunjukkan kanamisin, antibiotik yang berbeda dari ampisilin yang digunakan dalam eksperimen.
Ilmuwan harus tetap mempertimbangkan pengetahuan biologi tersirat dan konteks eksperimen saat menganalisis data agar dapat menafsirkannya dengan benar. Astra menunjukkan peningkatan kemampuan untuk mempertahankan konteks ini dan menerapkannya sepanjang analisis.
Salah satu tugas menampilkan sel yang terlihat fokus lalu tidak fokus dalam serangkaian citra mikroskop. Sementara GPT‑5.6 Sol mencari penjelasan biologis untuk sel yang tampak menghilang, GPT‑6 Astra dengan tepat mengenali z-stack: serangkaian citra yang diambil pada kedalaman berbeda.
0 dtk
3 dtk
6 dtk
9 dtk
12 dtk
15 dtk
Enam bingkai dari rekaman asli. Kotak putus-putus menandai lokasi yang sama saat mikroskop memindai berbagai kedalaman. Waktu mengacu pada posisi pemutaran dalam video yang diberikan.
Skor tolok ukur yang lebih tinggi belum berarti model dapat membuat penilaian yang andal di laboratorium. Contoh-contoh Astra ini menunjukkan bagaimana asumsi, jawaban yang diharapkan, dan label yang diberikan dapat mengesampingkan bukti, serta bagaimana pengamatan antara yang benar bisa gagal mengarahkan keputusan akhir.
Astra membiarkan asumsi yang lazim mengesampingkan interpretasi yang didukung oleh kontrol eksperimen. Astra dapat membedakan dua kelompok pita koloni, tetapi berasumsi bahwa produk PCR yang lebih besar menunjukkan keberhasilan kloning. Berdasarkan asumsi itu, Astra mengusulkan lajur 4, 6, 7, dan 8; sebaliknya, perbandingan kontrol dalam jawaban acuan memilih lajur 5, 9, dan 10.
Jawaban acuan memilih koloni 5, 9, dan 10; Astra mengusulkan 4, 6, 7, dan 8.
1: penanda · 2: campuran kloning · 3: plasmid awal · 4–10: sampel koloni
Membaca kontrol
Lajur 3 hanya berisi hasil PCR plasmid awal. Pitanya menjadi posisi acuan plasmid lama.
Dalam interpretasi acuan, lajur 2 memuat kedua pola: perakitan yang tidak tuntas menyisakan cetakan/kerangka plasmid lama bersama produk baru.
Koloni yang dihasilkan dapat membawa plasmid lama atau baru. Bandingkan pita-pitanya dengan pola acuan ini.
Pilihan acuan: 5, 9, dan 10
Pilihan Astra: 4, 6, 7, dan 8. Astra memilih kelompok ini dengan dugaan bahwa produk PCR yang lebih besar mewakili konstruk yang dituju.
Pengelompokan visualnya benar, tetapi identitas eksperimental yang diberikan kepada kelompok-kelompok itu terbalik dibandingkan acuan. Akibatnya, Astra memilih koloni yang salah dari hasil PCR koloni, sehingga plasmid yang salah akan dimurnikan pada tahap berikutnya.
Astra mengabaikan pengamatan yang bertentangan dengan interpretasi pilihannya. Astra menyimpulkan bahwa vakuola, kompartemen di dalam sel, umumnya lebih gelap daripada bagian sel di sekitarnya, meskipun sebagian tampak lebih terang dalam citra yang sama. Kedua tampilan ini penting: perubahan fokus mikroskop dapat membalikkan kontras, sehingga contoh yang lebih gelap tidak cukup untuk menetapkan aturan umum.
Tampilan lebih gelap
Tampilan lebih terang
Generalisasi Astra bahwa vakuola lebih gelap mengabaikan vakuola yang lebih terang dan terlihat dalam bidang pandang yang sama.
Hal yang luput dari jawaban tersebut
Sebagian sel memiliki kontras yang berlawanan. Kedua tampilan ini muncul karena perbedaan kedalaman fokus dapat membalikkan kontras.
Astra memeriksa beberapa area dan bahkan menyatakan bahwa kontras berubah sesuai fokus. Namun, Astra kemudian lebih mengutamakan sel yang disebutnya lebih fokus dan hanya mempertahankan deskripsi vakuola yang lebih gelap dalam jawaban akhir. Area yang lebih terang dan bertentangan dengan interpretasi itu telah diperiksa, tetapi tidak dipertimbangkan dalam kesimpulan.
Tanda hitung Astra tidak secara andal mewakili setiap koloni: Astra gagal membedakan koloni yang berdekatan, melewatkan koloni yang terlihat, dan menandai agar kosong. Hasil akhirnya pada cawan ini adalah penghitungan berlebih sekitar 12% dibandingkan acuan tolok ukur.
Gambar asli
Tanda hitung Astra
Gambar asli
Tanda hitung Astra
Gambar asli
Tanda hitung Astra
A: satu tanda hitung di antara koloni yang berdekatan. B: dua koloni yang terlihat tidak ditandai. C: agar kosong dihitung sebagai koloni. Lingkaran merah menunjukkan posisi penghitungan Astra. Panah hitam merupakan panduan editorial.
Penghitungan koloni yang tidak akurat secara langsung memengaruhi perkiraan efisiensi pemasukan DNA ke dalam sel. Jika volume yang ditanam pada cawan dan pengenceran tetap, penghitungan berlebih akan menaikkan perkiraan tersebut dengan proporsi yang sama.
Mempercepat penelitian biologi membutuhkan ketepatan dalam pekerjaan sehari-hari. BioBasicsBench menjadikan pekerjaan tersebut sasaran peningkatan: menafsirkan data eksperimen mentah, memeriksa kontrol, dan mengenali kesimpulan yang tidak didukung bukti. Kemajuan dalam tugas-tugas ini dapat membantu ilmuwan mengurangi waktu untuk memecahkan masalah dan lebih banyak meluangkan waktu untuk menentukan eksperimen berikutnya. Memantau kemampuan ini juga akan membantu kami memahami implikasinya terhadap keselamatan dan keamanan hayati.
