AI ajanlarının günlük ıslak laboratuvar çalışmalarındaki becerilerini ölçmek

Misyonumuz, genel yapay zekanın tüm insanlığın yararına olmasını sağlamak. Bu misyon doğrultusunda, hastalıkları anlamaktan yeni tedaviler geliştirmeye kadar biyolojik araştırmaları hızlandırmaları için bilim insanlarına yardımcı olmak istiyoruz. AI ajanlarının katkı sunabilmesi için bilim insanlarının biyolojik örneklerle deney yaptığı ıslak laboratuvarlarda her gün kullandıkları deneysel bulguları güvenilir biçimde yorumlayabilmeleri gerekiyor. Günlük ıslak laboratuvar çalışmalarında başarısız deneyler, belirsiz görüntüler ve çelişkili gözlemlerle karşılaşılır. Bilimsel makaleler için seçilmiş grafik ve görüntüler üzerine kurulu mevcut değerlendirme testleri, bu belirsizliği ve gerektirdiği sorun giderme sürecini gözden kaçırabilir. Bu nedenle, ajanların rutin ıslak laboratuvar analizlerini ne kadar iyi yapabildiğini ölçen BioBasicsBench'i tanıtıyoruz. Bu yeni değerlendirme testini, enzim tasarımına odaklanan biyoteknoloji şirketi Ligo ile birlikte geliştirdik.

Testteki 100 görev, ajanların ham deney verilerini yorumlayıp yorumlayamadığını, hataları saptayıp saptayamadığını ve bulguların bir sonucu desteklemeye yetmediğini fark edip edemediğini sınar. Bu görevlerin doğru yapılması önemlidir. Çünkü bir görüntüyü yanlış okumak ya da deney sonuçlarını doğrulamak için kullanılan kontrollerdeki bir sorunu gözden kaçırmak, bilim insanlarının yanlış sonuca varmasına ve sorularını yanıtlamaya yardımcı olmayacak deneylere zaman ayırmasına yol açabilir.

Görev başına daha fazla akıl yürütmeye olanak tanıyan “xhigh” ayarında GPT‑6 Astra, alınabilecek puanın ortalama %66,7'sini elde ederken GPT‑5.6 Sol'da bu oran %43,8 oldu. Sonuçlar, rutin laboratuvar analizlerinde ilerleme kaydedildiğini gösteriyor. Bununla birlikte görüntüleri yorumlama, kontrolleri denetleme ve deneysel bağlamı kullanma konularında hâlâ gelişme alanları var.

BioBasicsBench, jel görüntüleri ve koloni plaklarından mikroskopi ve cihaz okumalarına kadar ham deneysel bulgular kullanır.

BioBasicsBench, rutin ıslak laboratuvar çalışmalarının beş alanını kapsayan 100 görev içerir: protein yöntemleri, görüntüleme ve sitometri, miktar tayini ve testler, nükleik asit yöntemleri ve moleküler klonlama. Görevler, jeldeki bir DNA örneğinin moleküler ağırlığını okumak gibi basit isteklerden ayrıntılı test analizlerine kadar uzanır. Ancak hepsi, ıslak laboratuvarda çalışan bilim insanlarının güvenilir biçimde tamamlayabilmesi gereken rutin işleri içerir.

Bilim insanları görevleri kendi deneylerinden elde ettikleri verilerle oluşturdu ve her soruyu uzmanların yazdığı puanlama ölçütleriyle eşleştirdi. Her görev önce onu hazırlamamış bir Ligo bilim insanı tarafından kurum içinde, ardından ıslak laboratuvarda çalışan doktora dereceli bir bilim insanı tarafından kurum dışında incelendi ve son olarak bir kurum içi incelemeden daha geçti.

Ajanlar, istenen sonucu, ölçümü veya öneriyi ve gerektiğinde bunları destekleyen akıl yürütmeyi içeren yapılandırılmış bir yanıt verir. Yanıtlar, puanlama anahtarındaki ölçütlere ayrı ayrı göre puan alır. Böylece değerlendirme testi, doğru bir sonuç ile kısmen doğru bir analizi birbirinden ayırt edebilir. Çoğu görev; biyoloji bilgisi, görüntü ve diğer verileri yorumlama, hata tespiti ve protokolleri anlama gibi çeşitli becerileri birlikte sınar.

Girdiler, bilim insanlarının kullandığı bulguların özgün biçimlerini korur: jel ve blot görüntüleri, plak fotoğrafları, mikroskopi görüntü yığınları, dizileme okumaları, plak okuyucu çıktıları ve laboratuvar çalışmalarının videoları. Bir görev birden fazla veri türü içerebilir. Moleküler boyut belirteci çizelgeleri ve plazmid haritaları gibi referans tabloları, deneysel bulguların yorumlanmasına yardımcı olur.

Bilim insanları görevleri kendi deneylerinden elde ettikleri verilerle hazırladı; deneysel bulguları bir soru ve uzmanların yazdığı bir puanlama anahtarıyla eşleştirdi. Her görev önce onu hazırlamamış bir Ligo bilim insanı tarafından kurum içinde, ardından ıslak laboratuvarda çalışan doktora dereceli bir bilim insanı tarafından kurum dışında incelendi ve son olarak bir kurum içi incelemeden daha geçti. İncelemeyi yapanlar prompt'u, deneysel bulguları, puanlama anahtarını, yazar notlarını ve puanlanmış bir model denemesini kontrol etti.

Yanıtlar, her bir ölçüte puan atayan görev puanlama anahtarına göre değerlendirilir. Göreve bağlı olarak bu ölçütler; sonucu, sayısal değerleri, destekleyici akıl yürütmeyi veya bulguların yetersiz olduğunun fark edilmesini değerlendirir.

BioBasicsBench üzerinde yedi modeli değerlendirdik: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna ve GPT‑6 Astra. Değerlendirme, 37 model ve akıl yürütme çabası kombinasyonunu kapsıyor. Her kombinasyonda 100 görevin her biri beş kez denenerek toplam 18.500 sonuç elde edildi.

Sonuçları ortalama ödül olarak raporluyoruz: alınabilecek puanın yüzdesi olarak ifade edilen ortalama görev puanı. Hata çubukları, her göreve ait beş deneme bir arada tutularak görevlerin bütün olarak yeniden örneklenmesiyle hesaplanan %95 güven aralıklarını gösteriyor.

GPT‑6 Astra, düşük akıl yürütme çabasında bile GPT‑5.6 Sol'a kıyasla önemli bir ilerleme sağlıyor. Bu kazanımlar, modelin doğasında bulunan daha güçlü çok modlu yeteneklerin, günlük ıslak laboratuvar analizlerinde performansı artırmanın anahtarı olabileceğine işaret ediyor.

Bilimde sık düşülen tuzaklardan biri, özellikle hipotez sınarken ortaya çıkan yanlılığın da etkisiyle, verilerden desteklediklerinin ötesinde anlamlar çıkarmaktır. Astra, verilerin neyi gösterebileceğinin sınırlarını ayırt etme ve dayanaksız sonuçlardan kaçınma konusunda daha başarılı oldu.

Bu örnekte GPT‑5.6 Sol, ölü hücreleri saptamak için kullanılan bir boyanın sinyaline dayanarak hücreleri ölü olarak sınıflandırdı. Ancak dedektör ikinci bir boyadan gelen ışığı da algılayabiliyordu; dolayısıyla parlaklık tek başına bu sonucu desteklemiyordu. Astra bu belirsizliği fark etti ve sinyalleri ayırmak için daha iyi kontroller gerektiğini belirtti.

Bilimsel araştırmalar, çok çeşitli veri türleri içerir ve sürekli görsel yorumlama ile karar verme gerektirir. Astra; fotoğraf ve videoların yanı sıra dizileme, plak okuyucu testleri, mikroskopi ve akış sitometrisinden elde edilen ham çıktılar biçiminde sunulan çok modlu verileri işlemede önemli bir gelişme gösterdi.

En temel düzeyde bu gelişme, GPT‑6 Astra'nın deneyler sırasında çekilen görüntülerdeki daha ince ayrıntıları fark edip daha doğru sonuçlara ulaşmasında görüldü; bu örnekte de olduğu gibi. Bu görevde ajanlardan, kontrollerin hayati önem taşıdığı bir DNA klonlama deneyinden sonuç çıkarmaları istendi. GPT‑5.6 Sol, negatif kontrol plağında koloni görmedi ve sonuçlarını bu gözleme dayandırdı. GPT‑6 Astra ise plağın yanlış antibiyotikle etiketlendiğini fark etti ve onu güvenilir bir kontrol olarak kabul etmeyerek doğru kararı verdi.

Bilim insanlarının, verilerin ne gösterdiğini doğru yorumlayabilmek için analiz sırasında örtük biyoloji bilgilerini ve deneysel bağlamı akılda tutmaları gerekir. Astra, bu bağlamı koruma ve analizinin tamamında kullanma konusunda gelişme gösterdi.

Bir görevde, bir dizi mikroskop görüntüsünde hücrelerin netleşip bulanıklaştığı görülüyordu. GPT‑5.6 Sol, hücrelerin görünürde kaybolmasına biyolojik bir açıklama ararken GPT‑6 Astra bunun bir z-yığını, yani farklı derinliklerde çekilmiş bir görüntü dizisi olduğunu doğru biçimde saptadı.

Değerlendirme testlerinde alınan daha yüksek puanlar, modellerin laboratuvarda güvenilir yargılara varabildiği anlamına henüz gelmiyor. Bu Astra örnekleri; varsayımların, beklenen yanıtların ve sunulan etiketlerin bulguların önüne nasıl geçebildiğini ve ara aşamada yapılan doğru bir gözlemin nihai karara yön vermekte nasıl yetersiz kalabildiğini gösteriyor.

Astra, aşina olduğu bir varsayımı deneysel kontrollerin desteklediği yorumun önüne koyuyor. Kolonilere ait iki bant grubunu ayırt edebiliyor, ancak daha büyük bir PCR ürününün başarılı klonlamayı göstereceğini varsayıyor. Bu varsayımla 4, 6, 7 ve 8 numaralı kulvarları öneriyor; oysa referans yanıtta kontrollerle yapılan karşılaştırma sonucunda 5, 9 ve 10 numaralı kulvarlar seçiliyor.

Astra, tercih ettiği yorumla çelişen gözlemlere yeterince önem vermiyor. Hücre içindeki bölmeler olan vakuollerin, aynı görüntüde bazıları daha açık görünmesine rağmen, genellikle hücrenin çevreleyen kısmından daha koyu olduğu sonucuna varıyor. Her iki görünüm de önemli: mikroskobun odağını değiştirmek kontrastı tersine çevirebilir, dolayısıyla daha koyu örneklerden genel bir kural çıkarılamaz.

Astra'nın sayım işaretleri tek tek kolonilerle güvenilir biçimde eşleşmiyor: yakın komşuları ayırt edemiyor, görünür kolonileri atlıyor ve boş agarı işaretliyor. Sonuç olarak bu plakta, değerlendirme testinin referansına göre yaklaşık %12 fazla sayım yapılıyor.

Hatalı koloni sayımı, DNA'nın hücrelere ne kadar verimli aktarıldığına ilişkin tahminleri doğrudan etkiler. Plağa ekilen hacim ve seyreltme sabit tutulduğunda, fazla sayım bu tahmini aynı oranda yükseltir.

Biyolojik araştırmaları hızlandırmak, günlük işleri doğru yapmayı gerektirir. BioBasicsBench bu işleri bir gelişim hedefi hâline getiriyor: ham deney verilerini yorumlamak, kontrolleri denetlemek ve bir sonucun bulgularla desteklenmediğini fark etmek. Bu görevlerde kaydedilecek ilerleme, bilim insanlarının sorun gidermeye daha az, sırada hangi deneyleri yapacaklarına karar vermeye ise daha fazla zaman ayırmasını sağlayabilir. Bu yetenekleri takip etmek, biyolojik emniyet ve biyogüvenlik açısından doğurabilecekleri sonuçları anlamamıza da yardımcı olacak.