जैविक प्रयोगशाळेतील दैनंदिन काम AI एजंट कसे हाताळतात याचे मोजमाप

आर्टिफिशियल जनरल इंटेलिजन्सचा संपूर्ण मानवजातीला लाभ मिळेल याची खात्री करणे हे आमचे ध्येय आहे. या ध्येयाचा भाग म्हणून, रोग समजून घेण्यापासून ते नवीन उपचार विकसित करण्यापर्यंत जैविक संशोधनाला गती देण्यासाठी आम्ही शास्त्रज्ञांना मदत करू इच्छितो. AI एजंटना यात योगदान द्यायचे असेल, तर शास्त्रज्ञ जैविक नमुन्यांवर प्रयोग करणाऱ्या प्रयोगशाळांमध्ये दररोज वापरत असलेल्या प्रायोगिक पुराव्यांचा विश्वासार्हपणे अर्थ लावता आला पाहिजे. जैविक प्रयोगशाळेतील दैनंदिन कामात अयशस्वी प्रयोग, संदिग्ध प्रतिमा आणि परस्परविरोधी निरीक्षणे आढळतात. सध्याच्या मानक चाचण्या संशोधनपत्रांसाठी निवडलेल्या आलेख आणि प्रतिमांवर आधारित असल्याने, ही संदिग्धता आणि त्यासाठी आवश्यक असलेले समस्यांचे निराकरण त्यांच्या कक्षेबाहेर राहू शकते. म्हणूनच आम्ही BioBasicsBench सादर करत आहोत. एन्झाइम रचनेवर लक्ष केंद्रित करणारी जैवतंत्रज्ञान कंपनी Ligo सोबत विकसित केलेली ही नवीन मानक चाचणी, एजंट जैविक प्रयोगशाळेतील दैनंदिन विश्लेषण किती चांगल्या प्रकारे हाताळतात हे मोजते.

या मानक चाचणीतील 100 कार्ये, एजंट कच्च्या प्रायोगिक डेटाचा अर्थ लावू शकतात का, त्रुटी शोधू शकतात का आणि उपलब्ध पुरावा निष्कर्षाला आधार देण्यासाठी अपुरा आहे हे ओळखू शकतात का, हे तपासतात. ही कार्ये अचूकपणे करणे महत्त्वाचे आहे. कारण प्रतिमेचा चुकीचा अर्थ लावल्याने किंवा प्रयोगाचे निकाल पडताळण्यासाठी वापरलेल्या नियंत्रण नमुन्यांतील समस्या नजरेआड झाल्याने, शास्त्रज्ञ चुकीचा निष्कर्ष काढू शकतात आणि त्यांच्या प्रश्नाचे उत्तर मिळवून न देणाऱ्या प्रयोगांवर वेळ खर्च करू शकतात.

प्रत्येक कार्यासाठी अधिक रीझनिंगची मुभा देणाऱ्या ‘xhigh’ सेटिंगवर GPT‑6 Astra ने उपलब्ध गुणांपैकी सरासरी 66.7% गुण मिळवले, तर GPT‑5.6 Sol ने 43.8% गुण मिळवले. हे निकाल प्रयोगशाळेतील दैनंदिन विश्लेषणात प्रगती दर्शवतात. प्रतिमांचा अर्थ लावणे, नियंत्रण नमुने तपासणे आणि प्रयोगाचा संदर्भ वापरणे यांत आणखी सुधारणेला वाव आहे.

BioBasicsBench मध्ये जेलच्या प्रतिमा आणि वसाहतींच्या प्लेटपासून ते सूक्ष्मदर्शकीय निरीक्षणे आणि उपकरणांच्या नोंदींपर्यंत कच्चे प्रायोगिक पुरावे वापरले जातात.

BioBasicsBench मध्ये जैविक प्रयोगशाळेतील दैनंदिन कामाच्या पाच क्षेत्रांमधील 100 कार्ये आहेत: प्रथिनविषयक पद्धती, प्रतिमांकन आणि पेशीमापन, परिमाणन आणि चाचण्या, न्यूक्लिक आम्लविषयक पद्धती आणि रेणवीय क्लोनिंग. जेलमधील DNA नमुन्याचे रेणुभार वाचण्यासारख्या साध्या विनंत्यांपासून ते चाचण्यांच्या सविस्तर विश्लेषणापर्यंत ही कार्ये आहेत. मात्र, या सर्वांमध्ये असे दैनंदिन काम आहे, जे जैविक प्रयोगशाळेतील शास्त्रज्ञांना विश्वासार्हपणे पूर्ण करता आले पाहिजे.

शास्त्रज्ञांनी स्वतःच्या प्रयोगांतील डेटा वापरून ही कार्ये तयार केली आणि प्रत्येक प्रश्नासोबत तज्ज्ञांनी लिहिलेले गुणांकन निकष जोडले. प्रत्येक कार्याचे प्रथम ते न लिहिलेल्या Ligo च्या एका शास्त्रज्ञाने अंतर्गत पुनरावलोकन केले. त्यानंतर जैविक प्रयोगशाळेत काम करणाऱ्या पीएचडी स्तरावरील शास्त्रज्ञाने बाह्य पुनरावलोकन केले आणि शेवटी पुन्हा अंतर्गत पुनरावलोकन झाले.

एजंट मागितलेला निष्कर्ष, मोजमाप किंवा शिफारस असलेले संरचित उत्तर देतात आणि आवश्यक असल्यास त्याला आधार देणारे रीझनिंगही मांडतात. गुणांकन आराखड्यातील प्रत्येक निकषानुसार उत्तरांना गुण मिळतात. यामुळे योग्य निष्कर्ष आणि अंशतः योग्य विश्लेषण यांतील फरक मानक चाचणीला ओळखता येतो. बहुतेक कार्ये एकाच वेळी अनेक कौशल्ये तपासतात. यात जैविक ज्ञान, प्रतिमा आणि इतर डेटाचा अर्थ लावणे, त्रुटी शोधणे आणि कार्यपद्धती समजून घेणे यांचा समावेश आहे.

शास्त्रज्ञ ज्या स्वरूपात पुरावे वापरतात, त्याच स्वरूपात ते एजंटना दिले जातात: जेल आणि ब्लॉटच्या प्रतिमा, प्लेटची छायाचित्रे, सूक्ष्मदर्शकीय प्रतिमासंच, अनुक्रम-वाचने, प्लेट वाचकातून निर्यात केलेला डेटा आणि प्रयोगमेजावरील कामाचे व्हिडिओ. एका कार्यात अनेक प्रकारचा डेटा असू शकतो. लॅडर तक्ते आणि प्लाझ्मिड नकाशे यांसारखी संदर्भपत्रके प्रायोगिक पुराव्यांचा अर्थ लावण्यास मदत करतात.

शास्त्रज्ञांनी स्वतःच्या प्रयोगांतील डेटा वापरून ही कार्ये लिहिली आणि प्रायोगिक पुराव्यांसोबत एक प्रश्न व तज्ज्ञांनी लिहिलेला गुणांकन आराखडा जोडला. प्रत्येक कार्याचे प्रथम ते न लिहिलेल्या Ligo च्या एका शास्त्रज्ञाने अंतर्गत पुनरावलोकन केले. त्यानंतर जैविक प्रयोगशाळेत काम करणाऱ्या पीएचडी स्तरावरील शास्त्रज्ञाने बाह्य पुनरावलोकन केले आणि शेवटी पुन्हा अंतर्गत पुनरावलोकन झाले. पुनरावलोकनकर्त्यांनी प्रॉम्प्ट, प्रायोगिक पुरावे, गुणांकन आराखडा, लेखकाच्या नोंदी आणि गुणांकन केलेला मॉडेलचा एक प्रयत्न तपासला.

कार्याच्या गुणांकन आराखड्यानुसार उत्तरांना गुण दिले जातात. या आराखड्यात प्रत्येक निकषासाठी स्वतंत्र गुण निश्चित केलेले असतात. कार्यानुसार हे निकष निष्कर्ष, संख्यात्मक निकाल, आधार देणारे रीझनिंग किंवा पुरावा अपुरा असल्याची जाणीव यांचे मूल्यमापन करतात.

आम्ही BioBasicsBench वर सात मॉडेलचे मूल्यमापन केले: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna आणि GPT‑6 Astra. या मूल्यमापनात मॉडेल आणि रीझनिंग प्रयत्नस्तर यांच्या 37 जोड्यांचा समावेश आहे. प्रत्येक जोडीसाठी 100 कार्यांपैकी प्रत्येकावर पाच प्रयत्न केले असून, एकूण 18,500 निकाल मिळाले.

आम्ही सरासरी गुण नोंदवतो: प्रत्येक कार्यात मिळालेल्या गुणांची सरासरी, उपलब्ध एकूण गुणांच्या टक्केवारीत व्यक्त केली आहे. त्रुटी-दंड 95% विश्वास अंतर दर्शवतात. ही अंतरे मोजताना संपूर्ण कार्यांचे पुनर्नमुनीकरण केले आहे आणि प्रत्येक कार्याचे पाचही प्रयत्न एकत्र ठेवले आहेत.

रीझनिंग प्रयत्नस्तर कमी असतानाही, GPT‑6 Astra ची कामगिरी GPT‑5.6 Sol पेक्षा लक्षणीयरीत्या चांगली आहे. या सुधारणांवरून असे सूचित होते की जैविक प्रयोगशाळेतील दैनंदिन विश्लेषणात कामगिरी सुधारण्यासाठी अधिक सक्षम अंगभूत बहुमाध्यमीय क्षमता महत्त्वाच्या ठरू शकतात.

डेटातून त्याच्या मर्यादेपलीकडचे निष्कर्ष काढणे ही विज्ञानात वारंवार होणारी चूक आहे, विशेषतः एखादे गृहीतक तपासताना निर्माण होणाऱ्या पूर्वग्रहांचा विचार करता. डेटा काय दर्शवू शकतो याची मर्यादा ओळखण्यात आणि आधार नसलेले निष्कर्ष टाळण्यात Astra ने अधिक चांगली क्षमता दाखवली.

या उदाहरणात, मृत पेशी शोधण्यासाठी वापरलेल्या रंजकाच्या संकेतावरून GPT‑5.6 Sol ने पेशींना मृत ठरवले. पण संवेदक दुसऱ्या रंजकाचा प्रकाशही टिपू शकत होता, त्यामुळे केवळ प्रकाशाच्या तीव्रतेवरून तो निष्कर्ष काढणे योग्य नव्हते. Astra ने ही संदिग्धता ओळखली आणि संकेत वेगळे ओळखण्यासाठी अधिक चांगल्या नियंत्रण नमुन्यांची गरज असल्याचे सांगितले.

वैज्ञानिक संशोधनात अनेक माध्यमांतील माहिती वापरली जाते आणि दृश्यांचा अर्थ लावणे व निर्णय घेणे सतत आवश्यक असते. छायाचित्रे आणि व्हिडिओ, तसेच अनुक्रमनिर्धारण, प्लेट वाचक चाचण्या, सूक्ष्मदर्शिकी आणि प्रवाही पेशीमापन यांतून मिळालेला कच्चा डेटा हाताळण्यात Astra ने लक्षणीय सुधारणा दाखवली.

अगदी मूलभूत पातळीवरही ही सुधारणा दिसली: प्रयोगांदरम्यान घेतलेल्या प्रतिमांतील अधिक बारकावे GPT‑6 Astra ओळखू शकले आणि त्यामुळे अधिक अचूक निष्कर्ष काढू शकले, जसे या उदाहरणात दिसते. या कार्यात एजंटना DNA क्लोनिंगच्या प्रयोगावरून निष्कर्ष काढण्यास सांगितले होते. अशा प्रयोगात नियंत्रण नमुने अत्यावश्यक असतात. GPT‑5.6 Sol ला ऋण नियंत्रण प्लेटवर कोणत्याही वसाहती दिसल्या नाहीत आणि त्याने त्या निरीक्षणावर आपले निष्कर्ष आधारले. GPT‑6 Astra च्या लक्षात आले की प्लेटवरील लेबलवर चुकीचे प्रतिजैविक नमूद होते आणि त्याने ती प्लेट विश्वासार्ह नियंत्रण नमुना म्हणून योग्यरीत्या नाकारली.

डेटाचा योग्य अर्थ लावण्यासाठी, विश्लेषण करताना शास्त्रज्ञांनी अनुभवातून आत्मसात केलेले जैविक ज्ञान आणि प्रयोगाचा संदर्भ लक्षात ठेवणे आवश्यक असते. हा संदर्भ लक्षात ठेवून संपूर्ण विश्लेषणात त्याचा वापर करण्याची अधिक चांगली क्षमता Astra ने दाखवली.

एका कार्यातील सूक्ष्मदर्शकीय प्रतिमांच्या मालिकेत पेशी कधी स्पष्ट तर कधी अस्पष्ट होताना दिसत होत्या. पेशी जणू गायब होत असल्याचे दिसण्यामागे GPT‑5.6 Sol जैविक कारण शोधत होते, तर GPT‑6 Astra ने ती झेड-स्टॅक असल्याचे अचूक ओळखले: वेगवेगळ्या खोलीवर घेतलेल्या प्रतिमांची मालिका.

मानक चाचणीत अधिक गुण मिळाले म्हणजे मॉडेल प्रयोगशाळेत विश्वासार्ह निर्णय घेऊ शकतात, असे अद्याप म्हणता येत नाही. Astra ची ही उदाहरणे दाखवतात की गृहीतके, अपेक्षित उत्तरे आणि दिलेली लेबले यांना पुराव्यापेक्षा अधिक महत्त्व कसे दिले जाऊ शकते आणि मधल्या टप्प्यातील योग्य निरीक्षण अंतिम निर्णयाला दिशा देण्यात कसे अपयशी ठरू शकते.

Astra प्रायोगिक नियंत्रण नमुन्यांचा आधार असलेल्या अर्थापेक्षा परिचित गृहीतकाला प्राधान्य देते. ते वसाहतींच्या पट्ट्यांचे दोन गट वेगळे ओळखू शकते, पण मोठ्या आकाराचे PCR उत्पादन म्हणजे क्लोनिंग यशस्वी झाले असे गृहीत धरते. त्या गृहीतकावर ते 4, 6, 7 आणि 8 या लेन सुचवते; तर संदर्भ उत्तरात नियंत्रण नमुन्यांशी तुलना करून 5, 9 आणि 10 या लेन निवडल्या आहेत.

Astra स्वतःला पटलेल्या अर्थाला विरोध करणाऱ्या निरीक्षणांना कमी महत्त्व देते. रिक्तिका म्हणजे पेशींच्या आतले कप्पे. त्यांपैकी काही त्याच प्रतिमेत उजळ दिसत असूनही, त्या सर्वसाधारणपणे पेशीच्या भोवतालच्या भागापेक्षा गडद असतात असा निष्कर्ष ते काढते. दोन्ही प्रकारची दृश्ये महत्त्वाची आहेत: सूक्ष्मदर्शकाचे लक्ष्य बदलल्याने उजळ-गडदपणाचा विरोधाभास उलटू शकतो. त्यामुळे गडद दिसणाऱ्या उदाहरणांवरून सर्वसाधारण नियम ठरवता येत नाही.

Astra च्या मोजणीच्या खुणा स्वतंत्र वसाहतींशी विश्वासार्हपणे जुळत नाहीत: ते जवळजवळ असलेल्या वसाहती वेगळ्या ओळखण्यात अपयशी ठरते, दिसणाऱ्या वसाहती सोडून देते आणि रिकाम्या अगर माध्यमावर खुणा करते. एकूण परिणाम असा की या प्लेटवर मानक चाचणीतील संदर्भ मोजणीच्या तुलनेत सुमारे 12% जास्त वसाहती मोजल्या जातात.

वसाहतींची चुकीची मोजणी केल्यास DNA पेशींमध्ये किती कार्यक्षमतेने पोहोचवला गेला याच्या अंदाजावर थेट परिणाम होतो. प्लेटवर टाकलेले द्रवाचे प्रमाण आणि विरलन स्थिर ठेवल्यास, जास्त मोजणीमुळे हा अंदाजही त्याच प्रमाणात वाढतो.

जैविक संशोधनाला गती देण्यासाठी दैनंदिन काम अचूक होणे आवश्यक आहे. BioBasicsBench या कामात सुधारणा करण्याचे लक्ष्य समोर ठेवते: कच्च्या प्रायोगिक डेटाचा अर्थ लावणे, नियंत्रण नमुने तपासणे आणि निष्कर्षाला पुराव्याचा आधार नसल्याचे ओळखणे. या कार्यांमध्ये प्रगती झाल्यास शास्त्रज्ञांना समस्या सोडवण्यात कमी वेळ आणि पुढे कोणते प्रयोग करायचे हे ठरवण्यात अधिक वेळ देता येऊ शकतो. या क्षमतांचा मागोवा घेतल्याने जैविक सुरक्षितता आणि जैविक संरक्षणावर त्यांचे काय परिणाम होऊ शकतात हे समजून घेण्यासही आम्हाला मदत होईल.