AI एजेंट वेट लैब के रोज़मर्रा के काम कैसे संभालते हैं: एक आकलन

हमारा मिशन यह सुनिश्चित करना है कि आर्टिफ़िशियल जेनरल इंटेलिजेंस से पूरी मानवता को लाभ मिले. इस मिशन के तहत हम वैज्ञानिकों को जैविक शोध में तेज़ी लाने में मदद करना चाहते हैं—बीमारियों को समझने से लेकर नए उपचार विकसित करने तक. इसमें योगदान देने के लिए AI एजेंटों को उन प्रायोगिक प्रमाणों की भरोसेमंद व्याख्या करनी होगी जिनके साथ वैज्ञानिक वेट लैब में रोज़ काम करते हैं, जहाँ वे जैविक नमूनों पर प्रयोग करते हैं. वेट लैब के रोज़मर्रा के काम में असफल प्रयोग, अस्पष्ट चित्र और परस्पर विरोधी अवलोकन शामिल होते हैं. मौजूदा बेंचमार्क वैज्ञानिक शोधपत्रों के लिए चुने गए चार्ट और चित्रों पर आधारित हैं. ऐसे में वे इस अस्पष्टता और इससे जुड़ी समस्याएँ सुलझाने की ज़रूरत को नहीं पकड़ पाते. इसीलिए हम BioBasicsBench पेश कर रहे हैं. यह नया बेंचमार्क एंज़ाइम डिज़ाइन पर केंद्रित जैव-प्रौद्योगिकी कंपनी Ligo के साथ मिलकर विकसित किया गया है. यह मापता है कि एजेंट वेट लैब के नियमित विश्लेषण को कितनी अच्छी तरह संभालते हैं.

बेंचमार्क के 100 कार्य जाँचते हैं कि एजेंट कच्चे प्रायोगिक डेटा की व्याख्या कर सकते हैं या नहीं, त्रुटियाँ पहचान सकते हैं या नहीं, और यह समझ सकते हैं या नहीं कि प्रमाण किसी निष्कर्ष का समर्थन करने के लिए अपर्याप्त हैं. इन कार्यों को सही करना ज़रूरी है. किसी चित्र का ग़लत अर्थ निकालने या प्रयोग के परिणाम जाँचने वाले नियंत्रण नमूनों की समस्या को अनदेखा करने से वैज्ञानिक ग़लत निष्कर्ष पर पहुँच सकते हैं और ऐसे प्रयोगों पर समय लगा सकते हैं जो उनके सवाल का जवाब खोजने में मदद नहीं करेंगे.

“एक्सहाई” सेटिंग पर, जो हर कार्य के लिए अधिक रीज़निंग की अनुमति देती है, GPT‑6 Astra ने उपलब्ध अंकों में से औसतन 66.7% अर्जित किए, जबकि GPT‑5.6 Sol ने 43.8% अर्जित किए. परिणाम नियमित प्रयोगशाला विश्लेषण में प्रगति दिखाते हैं. साथ ही, चित्रों की व्याख्या, नियंत्रण नमूनों की जाँच और प्रयोग के संदर्भ को लागू करने में और सुधार की गुंजाइश है.

BioBasicsBench कच्चे प्रायोगिक प्रमाणों का इस्तेमाल करता है—जेल के चित्रों और कॉलोनी प्लेटों से लेकर सूक्ष्मदर्शी चित्रों और उपकरणों की रीडिंग तक.

BioBasicsBench में वेट लैब के नियमित काम के पाँच क्षेत्रों से जुड़े 100 कार्य हैं: प्रोटीन संबंधी विधियाँ, चित्रण और कोशिकामिति, मात्रात्मक मापन और परीक्षण, न्यूक्लिक अम्ल संबंधी विधियाँ, और आणविक क्लोनिंग. कार्यों में जेल में DNA नमूने का आणविक भार पढ़ने जैसे सरल अनुरोधों से लेकर परीक्षण के विस्तृत विश्लेषण तक शामिल हैं. लेकिन ये सभी ऐसे नियमित काम हैं जिन्हें वेट लैब के वैज्ञानिकों को भरोसेमंद ढंग से पूरा करना आना चाहिए.

वैज्ञानिकों ने अपने प्रयोगों के डेटा से ये कार्य बनाए और हर प्रश्न के साथ विशेषज्ञों के लिखे मूल्यांकन मानदंड जोड़े. हर कार्य की पहले Ligo के ऐसे वैज्ञानिक ने आंतरिक समीक्षा की जिसने उसे नहीं लिखा था. फिर वेट लैब में काम करने वाले पीएचडी-स्तर के वैज्ञानिक ने बाहरी समीक्षा की, जिसके बाद अंतिम आंतरिक समीक्षा हुई.

एजेंट एक संरचित उत्तर देते हैं, जिसमें माँगा गया निष्कर्ष, मापन या सुझाव और जहाँ ज़रूरी हो, उसके समर्थन में रीज़निंग होती है. उत्तरों को मूल्यांकन रूपरेखा के हर मानदंड के अनुसार अंक मिलते हैं. इससे बेंचमार्क सही निष्कर्ष और आंशिक रूप से सही विश्लेषण के बीच अंतर कर पाता है. अधिकतर कार्य एक साथ कई कौशलों की जाँच करते हैं, जिनमें जैविक ज्ञान, चित्रों और अन्य डेटा की व्याख्या, त्रुटियों की पहचान और प्रयोग-विधि की समझ शामिल हैं.

इनपुट में प्रमाण उसी रूप में रखे गए हैं जिसमें वैज्ञानिक उनके साथ काम करते हैं: जेल और ब्लॉट के चित्र, प्लेटों की तस्वीरें, सूक्ष्मदर्शी चित्रों के स्टैक, अनुक्रमण रीड, प्लेट रीडर से निर्यातित डेटा और प्रयोगशाला में काम करने के वीडियो. एक कार्य में कई तरह का डेटा हो सकता है. लैडर चार्ट और प्लाज़्मिड मानचित्र जैसे संदर्भ पत्रक प्रायोगिक प्रमाणों की व्याख्या में मदद करते हैं.

वैज्ञानिकों ने अपने प्रयोगों के डेटा का इस्तेमाल करके कार्य लिखे. उन्होंने प्रायोगिक प्रमाणों के साथ एक प्रश्न और विशेषज्ञ द्वारा लिखी गई मूल्यांकन रूपरेखा जोड़ी. हर कार्य की पहले Ligo के ऐसे वैज्ञानिक ने आंतरिक समीक्षा की जिसने उसे नहीं लिखा था. फिर वेट लैब में काम करने वाले पीएचडी-स्तर के वैज्ञानिक ने बाहरी समीक्षा की, जिसके बाद अंतिम आंतरिक समीक्षा हुई. समीक्षकों ने प्रॉम्प्ट, प्रायोगिक प्रमाण, मूल्यांकन रूपरेखा, लेखक की टिप्पणियाँ और मॉडल के एक अंकित प्रयास की जाँच की.

उत्तरों को कार्य की मूल्यांकन रूपरेखा के अनुसार अंक दिए जाते हैं, जिसमें हर मानदंड के लिए अलग अंक निर्धारित हैं. कार्य के अनुसार, ये मानदंड निष्कर्ष, संख्यात्मक परिणामों, सहायक रीज़निंग या प्रमाण अपर्याप्त होने की पहचान का आकलन करते हैं.

हमने BioBasicsBench पर सात मॉडलों का मूल्यांकन किया: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna और GPT‑6 Astra. इस मूल्यांकन में मॉडल और रीज़निंग प्रयास की 37 सेटिंग शामिल हैं. हर सेटिंग पर 100 कार्यों में से प्रत्येक के लिए पाँच प्रयास किए गए, जिससे कुल 18,500 परिणाम मिले.

हम औसत पुरस्कार रिपोर्ट करते हैं: यानी कार्यों का औसत स्कोर, जिसे उपलब्ध अंकों के प्रतिशत के रूप में व्यक्त किया गया है. त्रुटि पट्टियाँ 95% विश्वास अंतराल दिखाती हैं. इनकी गणना पूरे कार्यों का पुनः नमूनाकरण करके की गई है, जिसमें हर कार्य के पाँचों प्रयासों को एक साथ रखा गया है.

कम रीज़निंग प्रयास पर भी GPT‑6 Astra का प्रदर्शन GPT‑5.6 Sol से काफ़ी बेहतर है. ये सुधार संकेत देते हैं कि वेट लैब के रोज़मर्रा के विश्लेषण में प्रदर्शन बेहतर बनाने के लिए अधिक सशक्त अंतर्निहित बहुमाध्यमीय क्षमताएँ अहम हो सकती हैं.

विज्ञान में डेटा से ज़रूरत से ज़्यादा अर्थ निकाल लेना एक आम गलती है, ख़ासकर परिकल्पना की जाँच के दौरान पैदा होने वाले पूर्वाग्रह को देखते हुए. Astra ने यह पहचानने की बेहतर क्षमता दिखाई कि डेटा से क्या पता लगाया जा सकता है और कहाँ बिना पर्याप्त आधार के निष्कर्ष निकालने से बचना चाहिए.

इस उदाहरण में, GPT‑5.6 Sol ने मृत कोशिकाओं का पता लगाने के लिए इस्तेमाल किए गए रंजक के संकेत के आधार पर कोशिकाओं को मृत बताया. लेकिन संसूचक दूसरे रंजक का प्रकाश भी पकड़ सकता था, इसलिए केवल चमक के आधार पर यह निष्कर्ष निकालना उचित नहीं था. Astra ने इस अस्पष्टता को पहचाना और संकेतों को अलग करने के लिए बेहतर नियंत्रण नमूनों की ज़रूरत बताई.

वैज्ञानिक शोध में कई तरह के माध्यमों का व्यापक इस्तेमाल होता है, जिसके लिए लगातार दृश्य सामग्री की व्याख्या और निर्णय लेने की ज़रूरत पड़ती है. Astra ने तस्वीरों और वीडियो के साथ-साथ अनुक्रमण, प्लेट-रीडर परीक्षणों, सूक्ष्मदर्शिकी और प्रवाह कोशिकामिति के कच्चे परिणामों के रूप में दिए गए बहुमाध्यमीय डेटा को संभालने में उल्लेखनीय सुधार दिखाया.

बुनियादी स्तर पर यह सुधार GPT‑6 Astra की उस क्षमता में दिखा, जिससे उसने प्रयोगों के दौरान ली गई तस्वीरों में बारीक विवरण पहचाने और अधिक सटीक निष्कर्ष निकाले, जैसा कि इस उदाहरण में दिखाया गया है. इस कार्य में एजेंटों से DNA क्लोनिंग प्रयोग के आधार पर निष्कर्ष निकालने को कहा गया था, जिसमें नियंत्रण नमूने बेहद ज़रूरी होते हैं. GPT‑5.6 Sol को नकारात्मक नियंत्रण प्लेट पर कोई कॉलोनी नहीं दिखी और उसने इसी अवलोकन के आधार पर निष्कर्ष निकाले. GPT‑6 Astra ने देखा कि प्लेट पर ग़लत प्रतिजैविक का लेबल लगा था और उसे भरोसेमंद नियंत्रण मानने से सही तौर पर इनकार किया.

डेटा का सही अर्थ समझने के लिए वैज्ञानिकों को उसका विश्लेषण करते समय अनुभवजन्य जैविक ज्ञान और प्रयोग के संदर्भ को ध्यान में रखना आना चाहिए. Astra ने पूरे विश्लेषण के दौरान इस संदर्भ को ध्यान में रखने और लागू करने की बेहतर क्षमता दिखाई.

एक कार्य में सूक्ष्मदर्शी चित्रों की शृंखला में कोशिकाएँ बारी-बारी से फ़ोकस में आती और उससे बाहर जाती दिखाई गई थीं. जहाँ GPT‑5.6 Sol ने कोशिकाओं के कथित रूप से ग़ायब होने का जैविक कारण ढूँढ़ा, वहीं GPT‑6 Astra ने सही पहचाना कि यह ज़ेड-स्टैक है: अलग-अलग गहराइयों पर लिए गए चित्रों की शृंखला.

बेंचमार्क पर अधिक अंक मिलने का मतलब अभी यह नहीं है कि मॉडल प्रयोगशाला में भरोसेमंद निर्णय ले सकते हैं. Astra के ये उदाहरण दिखाते हैं कि धारणाएँ, अपेक्षित उत्तर और दिए गए लेबल कैसे प्रमाणों पर हावी हो सकते हैं, और बीच के चरण में किया गया सही अवलोकन भी अंतिम निर्णय को दिशा देने में कैसे विफल हो सकता है.

Astra एक परिचित धारणा को उस व्याख्या से ऊपर रखता है जिसका समर्थन प्रायोगिक नियंत्रण नमूने करते हैं. वह कॉलोनियों के बैंड के दो समूहों में अंतर कर सकता है, लेकिन यह मान लेता है कि बड़ा PCR उत्पाद सफल क्लोनिंग की पहचान होगा. इस आधार पर वह लेन 4, 6, 7 और 8 सुझाता है; जबकि संदर्भ उत्तर में नियंत्रण नमूनों से तुलना के आधार पर लेन 5, 9 और 10 चुनी गई हैं.

Astra अपनी पसंदीदा व्याख्या के विरुद्ध जाने वाले अवलोकनों को कम महत्त्व देता है. वह निष्कर्ष निकालता है कि कोशिकाओं के भीतर के खंड, यानी रिक्तिकाएँ, आम तौर पर कोशिका के आसपास के हिस्से से अधिक गहरी दिखती हैं, जबकि उसी चित्र में कुछ रिक्तिकाएँ हल्की दिखती हैं. दोनों रूप महत्त्वपूर्ण हैं: सूक्ष्मदर्शी का फ़ोकस बदलने से उजाले और अँधेरे का अंतर उलट सकता है, इसलिए गहरे दिखने वाले उदाहरण किसी सामान्य नियम को स्थापित नहीं करते.

Astra के गिनती के निशान अलग-अलग कॉलोनियों से भरोसेमंद ढंग से मेल नहीं खाते: वह पास-पास की कॉलोनियों को अलग नहीं पहचान पाता, दिखाई दे रही कॉलोनियाँ छोड़ देता है और खाली अगर माध्यम पर निशान लगाता है. इस प्लेट पर कुल मिलाकर बेंचमार्क के संदर्भ मान से लगभग 12% अधिक कॉलोनियाँ गिनी गईं.

कॉलोनियों की ग़लत गिनती सीधे इस अनुमान को प्रभावित करती है कि कोशिकाओं में DNA कितनी दक्षता से पहुँचाया गया. जब प्लेट पर डाली गई मात्रा और तनुकरण स्थिर हों, तो अधिक गिनती से यह अनुमान भी उसी अनुपात में बढ़ जाता है.

जैविक शोध में तेज़ी लाने के लिए रोज़मर्रा का काम सही करना ज़रूरी है. BioBasicsBench इस काम को सुधार का लक्ष्य बनाता है: कच्चे प्रायोगिक डेटा की व्याख्या करना, नियंत्रण नमूनों की जाँच करना और पहचानना कि कब किसी निष्कर्ष के समर्थन में पर्याप्त प्रमाण नहीं हैं. इन कार्यों में प्रगति से वैज्ञानिक समस्याएँ सुलझाने में कम समय और आगे कौन-से प्रयोग करने हैं, यह तय करने में अधिक समय लगा सकेंगे. इन क्षमताओं पर नज़र रखने से हमें जैव-सुरक्षा और जैविक ख़तरों से बचाव पर उनके प्रभावों को समझने में भी मदद मिलेगी.