تر تجربہ گاہ کے روزمرہ کام میں AI ایجنٹوں کی صلاحیت کی جانچ

ہمارا مشن یہ یقینی بنانا ہے کہ آرٹیفیشل جنرل انٹیلیجنس پوری انسانیت کے لیے فائدہ مند ہو. اس مشن کے تحت ہم حیاتیاتی تحقیق تیز کرنے میں سائنس دانوں کی مدد کرنا چاہتے ہیں—بیماری کو سمجھنے سے لے کر نئے علاج تیار کرنے تک. اس میں حصہ ڈالنے کے لیے AI ایجنٹوں کو ان تجرباتی شواہد کی قابل اعتماد تشریح کرنا ہوگی جن سے سائنس دان روزانہ تر تجربہ گاہوں میں کام لیتے ہیں، جہاں وہ حیاتیاتی نمونوں پر تجربات کرتے ہیں. تر تجربہ گاہ کے روزمرہ کام میں ناکام تجربات، مبہم تصاویر اور متضاد مشاہدات شامل ہوتے ہیں. موجودہ بینچ مارک سائنسی مقالوں کے لیے منتخب چارٹ اور تصاویر پر مبنی ہیں، اس لیے وہ اس ابہام اور اسے دور کرنے کے لیے درکار خرابیوں کی تشخیص کو نظرانداز کر سکتے ہیں. اسی لیے ہم BioBasicsBench متعارف کرا رہے ہیں. یہ نیا بینچ مارک انزائم ڈیزائن پر کام کرنے والی حیاتیاتی ٹیکنالوجی کمپنی Ligo کے ساتھ تیار کیا گیا ہے، تاکہ جانچا جا سکے کہ ایجنٹ تر تجربہ گاہ کے معمول کے تجزیے کتنی اچھی طرح کرتے ہیں.

اس بینچ مارک کے 100 کام جانچتے ہیں کہ آیا ایجنٹ خام تجرباتی ڈیٹا کی تشریح، غلطیوں کی شناخت، اور یہ پہچان کر سکتے ہیں کہ شواہد کب کسی نتیجے کی تائید نہیں کرتے. ان کاموں کو درست کرنا اہم ہے. تصویر کو غلط سمجھنے یا تجربے کے نتائج کی تصدیق کے لیے استعمال ہونے والے کنٹرول نمونوں میں خرابی نظرانداز کرنے سے سائنس دان غلط نتیجہ اخذ کر سکتے ہیں اور ایسے تجربات پر وقت صرف کر سکتے ہیں جو ان کے سوال کا جواب دینے میں مدد نہ کریں.

’xhigh‘ ترتیب میں، جو ہر کام پر زیادہ ریزننگ کی اجازت دیتی ہے، GPT‑6 Astra نے دستیاب نمبروں کا اوسطاً 66.7% حاصل کیا، جبکہ GPT‑5.6 Sol نے 43.8% حاصل کیا. نتائج تجربہ گاہ کے معمول کے تجزیے میں پیش رفت دکھاتے ہیں، جبکہ تصاویر کی تشریح، کنٹرول نمونوں کی جانچ اور تجرباتی سیاق کے اطلاق میں مزید بہتری کی گنجائش ہے.

BioBasicsBench خام تجرباتی شواہد استعمال کرتا ہے، جن میں جیل کی تصاویر اور کالونی پلیٹوں سے لے کر خوردبینی مشاہدات اور آلات کی پیمائشیں شامل ہیں.

BioBasicsBench میں تر تجربہ گاہ کے معمول کے کام کے پانچ شعبوں سے 100 کام شامل ہیں: پروٹین کے طریقے، عکس بندی اور سائٹومیٹری، مقداری پیمائش اور جانچ، نیوکلیک ایسڈ کے طریقے، اور سالماتی کلوننگ. ان کاموں میں جیل میں DNA نمونے کا سالماتی وزن پڑھنے جیسی سادہ درخواستوں سے لے کر تفصیلی جانچ کے تجزیے تک شامل ہیں. تاہم سبھی معمول کے ایسے کام ہیں جنہیں تر تجربہ گاہ کے سائنس دان قابل اعتماد انداز میں مکمل کر سکنے چاہئیں.

سائنس دانوں نے اپنے تجربات کے ڈیٹا سے یہ کام تیار کیے اور ہر سوال کے ساتھ ماہرین کے لکھے ہوئے نمبر دینے کے معیارات شامل کیے. ہر کام کا پہلے Ligo کے ایسے سائنس دان نے داخلی جائزہ لیا جس نے اسے نہیں لکھا تھا، پھر تر تجربہ گاہ میں کام کرنے والے پی ایچ ڈی سطح کے سائنس دان نے بیرونی جائزہ لیا، اور آخر میں ایک حتمی داخلی جائزہ لیا گیا.

ایجنٹ ایک منظم جواب دیتے ہیں جس میں مطلوبہ نتیجہ، پیمائش یا سفارش اور، جہاں ضروری ہو، اس کی تائید میں ریزننگ شامل ہوتی ہے. جوابات کو جانچ کے ہر الگ معیار کے مطابق نمبر ملتے ہیں، جس سے بینچ مارک درست نتیجے اور جزوی طور پر درست تجزیے میں فرق کر سکتا ہے. زیادہ تر کام کئی مہارتوں کو ایک ساتھ جانچتے ہیں، جن میں حیاتیاتی علم، تصاویر اور دیگر ڈیٹا کی تشریح، غلطیوں کی شناخت اور تجرباتی طریقۂ کار کی سمجھ شامل ہیں.

فراہم کردہ مواد میں شواہد کی وہی صورتیں برقرار رکھی گئی ہیں جن کے ساتھ سائنس دان کام کرتے ہیں: جیل اور بلاٹ کی تصاویر، پلیٹوں کی تصاویر، خوردبینی تصاویر کے مجموعے، پڑھے گئے جینیاتی تسلسل، پلیٹ ریڈر سے برآمد کردہ ڈیٹا اور تجرباتی میز پر کام کی ویڈیوز. ایک کام میں کئی قسم کا ڈیٹا شامل ہو سکتا ہے. لیڈر چارٹ اور پلازمڈ نقشوں جیسی حوالہ جاتی شیٹس تجرباتی شواہد کی تشریح میں مدد دیتی ہیں.

سائنس دانوں نے اپنے تجربات کے ڈیٹا سے یہ کام لکھے، اور تجرباتی شواہد کے ساتھ ایک سوال اور ماہرین کا لکھا ہوا نمبر دینے کا ضابطہ شامل کیا. ہر کام کا پہلے Ligo کے ایسے سائنس دان نے داخلی جائزہ لیا جس نے اسے نہیں لکھا تھا، پھر تر تجربہ گاہ میں کام کرنے والے پی ایچ ڈی سطح کے سائنس دان نے بیرونی جائزہ لیا، اور آخر میں ایک حتمی داخلی جائزہ لیا گیا. جائزہ لینے والوں نے پرومپٹ، تجرباتی شواہد، جانچ کے ضابطے، مصنف کے نوٹس اور ماڈل کی ایک ایسی کوشش کو جانچا جسے نمبر دیے جا چکے تھے.

جوابات کو کام کے جانچ کے ضابطے کے مطابق نمبر دیے جاتے ہیں، جس میں ہر الگ معیار کے لیے نمبر مختص ہوتے ہیں. کام کی نوعیت کے مطابق یہ معیارات نتیجے، عددی نتائج، تائیدی ریزننگ یا اس بات کی شناخت کو جانچتے ہیں کہ شواہد ناکافی ہیں.

ہم نے BioBasicsBench پر سات ماڈلز کا جائزہ لیا: GPT‑5.2، GPT‑5.4، GPT‑5.5، GPT‑5.6 Sol، GPT‑6.1 Sol، GPT‑6 Luna اور GPT‑6 Astra. اس جائزے میں ماڈل اور ریزننگ کی کوشش کی سطح کے 37 امتزاج شامل ہیں. ہر ترتیب میں 100 کاموں میں سے ہر کام کی پانچ کوششیں کی گئیں، یوں مجموعی طور پر 18,500 نتائج حاصل ہوئے.

ہم اوسط انعام رپورٹ کرتے ہیں: یعنی کاموں کا اوسط اسکور، جسے دستیاب نمبروں کے فی صد کے طور پر ظاہر کیا جاتا ہے. خطا کی سلاخیں 95% اعتماد کے وقفے دکھاتی ہیں. ان کا حساب پورے کاموں کی دوبارہ نمونہ گیری سے لگایا گیا ہے، جس میں ہر کام کی پانچوں کوششیں ایک ساتھ رکھی گئی ہیں.

GPT‑6 Astra، ریزننگ کی کم کوشش کے باوجود، GPT‑5.6 Sol سے نمایاں طور پر بہتر کارکردگی دکھاتا ہے. یہ بہتری بتاتی ہے کہ کثیرنوعی ڈیٹا کو سمجھنے کی زیادہ مضبوط داخلی صلاحیتیں روزمرہ تر تجربہ گاہ کے تجزیے کی کارکردگی بہتر بنانے میں کلیدی ہو سکتی ہیں.

سائنس میں ایک عام غلطی ڈیٹا سے ضرورت سے زیادہ معنی اخذ کرنا ہے، خصوصاً کسی مفروضے کو جانچتے وقت پیدا ہونے والے تعصب کے پیش نظر. Astra نے یہ سمجھنے کی بہتر صلاحیت دکھائی کہ ڈیٹا کس حد تک کچھ ثابت کرتا ہے، اور بے بنیاد نتائج اخذ کرنے سے گریز کیا.

اس مثال میں GPT‑5.6 Sol نے مردہ خلیوں کی شناخت کے لیے استعمال ہونے والے رنگ کے سگنل کی بنیاد پر خلیوں کو مردہ قرار دیا. لیکن شناختی آلہ دوسرے رنگ کی روشنی بھی پکڑ سکتا تھا، اس لیے صرف چمک کی بنیاد پر یہ نتیجہ اخذ کرنا درست نہیں تھا. Astra نے اس ابہام کو پہچانا اور سگنل الگ کرنے کے لیے بہتر کنٹرول نمونوں کی ضرورت بتائی.

سائنسی تحقیق میں کئی طرح کا ڈیٹا استعمال ہوتا ہے اور مسلسل بصری تشریح اور فیصلہ سازی درکار ہوتی ہے. Astra نے کثیرنوعی ڈیٹا کو سمجھنے میں نمایاں بہتری دکھائی. یہ ڈیٹا تصاویر اور ویڈیوز کے ساتھ ساتھ تسلسل خوانی، پلیٹ ریڈر جانچوں، خوردبینی مشاہدے اور فلو سائٹومیٹری کے خام نتائج کی شکل میں دیا گیا تھا.

بنیادی سطح پر یہ بہتری GPT‑6 Astra کی اس صلاحیت میں نظر آئی کہ وہ تجربات کے دوران لی گئی تصاویر کی باریک تفصیلات پہچان کر زیادہ درست نتائج اخذ کر سکتا ہے، جیسا کہ اس مثال میں دکھایا گیا ہے. اس کام میں ایجنٹوں سے DNA کلوننگ کے ایک تجربے سے نتائج اخذ کرنے کو کہا گیا، جس میں کنٹرول نمونے ضروری ہوتے ہیں. GPT‑5.6 Sol کو منفی کنٹرول پلیٹ پر کوئی کالونی نظر نہیں آئی اور اس نے اپنے نتائج اسی مشاہدے پر قائم کیے. GPT‑6 Astra نے دیکھا کہ پلیٹ پر غلط اینٹی بایوٹک کا لیبل تھا اور درست طور پر اسے قابل اعتماد کنٹرول ماننے سے انکار کیا.

ڈیٹا کے درست معنی سمجھنے کے لیے سائنس دانوں کو تجزیے کے دوران تجربے سے حاصل ضمنی حیاتیاتی علم اور تجرباتی سیاق ذہن میں رکھنا ضروری ہے. Astra نے اس سیاق کو ذہن میں رکھنے اور پورے تجزیے میں اس کا اطلاق کرنے کی بہتر صلاحیت دکھائی.

ایک کام میں خوردبینی تصاویر کے سلسلے میں خلیے کبھی فوکس میں آتے اور کبھی اس سے باہر جاتے دکھائی دیے. GPT‑5.6 Sol نے خلیوں کے بظاہر غائب ہونے کی حیاتیاتی وجہ تلاش کی، جبکہ GPT‑6 Astra نے درست پہچانا کہ یہ زیڈ اسٹیک ہے: مختلف گہرائیوں پر لی گئی تصاویر کا سلسلہ.

بینچ مارک میں زیادہ اسکور کا مطلب ابھی یہ نہیں کہ ماڈل تجربہ گاہ میں قابل اعتماد فیصلے کر سکتے ہیں. Astra کی یہ مثالیں دکھاتی ہیں کہ مفروضے، متوقع جوابات اور فراہم کردہ لیبل کس طرح شواہد پر غالب آ سکتے ہیں، اور کس طرح درمیانی مرحلے کا درست مشاہدہ حتمی فیصلے کی رہنمائی کرنے میں ناکام رہ سکتا ہے.

Astra تجرباتی کنٹرول نمونوں کی تائید یافتہ تشریح پر ایک مانوس مفروضے کو ترجیح دیتا ہے. وہ کالونی بینڈ کے دو گروہوں میں فرق کر سکتا ہے، لیکن فرض کرتا ہے کہ زیادہ بڑا PCR حاصل کامیاب کلوننگ کی نشاندہی کرے گا. اس بنیاد پر وہ لین 4، 6، 7 اور 8 تجویز کرتا ہے؛ جبکہ حوالہ جاتی جواب میں کنٹرول سے موازنہ کرکے لین 5، 9 اور 10 منتخب کی گئی ہیں.

Astra اپنی ترجیحی تشریح سے متصادم مشاہدات کو کم اہمیت دیتا ہے. وہ نتیجہ اخذ کرتا ہے کہ ویکیول، یعنی خلیے کے اندر کے خانے، عموماً خلیے کے آس پاس کے حصے سے گہرے ہوتے ہیں، حالانکہ اسی تصویر میں کچھ ہلکے نظر آتے ہیں. دونوں صورتیں اہم ہیں: خوردبین کا فوکس بدلنے سے روشنی اور تاریکی کا تضاد الٹ سکتا ہے، اس لیے گہری نظر آنے والی مثالوں سے کوئی عمومی اصول ثابت نہیں ہوتا.

Astra کے گنتی کے نشان انفرادی کالونیوں سے قابل اعتماد طور پر میل نہیں کھاتے: وہ قریب کی پڑوسی کالونیوں کو الگ نہیں پہچان پاتا، واضح کالونیاں چھوڑ دیتا ہے اور خالی آگر پر نشان لگاتا ہے. اس پلیٹ پر مجموعی نتیجہ بینچ مارک کے حوالہ جاتی جواب کے مقابلے میں تقریباً 12% زیادہ گنتی ہے.

کالونیوں کی غلط گنتی اس تخمینے پر براہ راست اثر ڈالتی ہے کہ DNA کو خلیوں میں کتنی مؤثر طریقے سے داخل کیا گیا. پلیٹ پر ڈالے گئے حجم اور رقیق کاری کو یکساں رکھنے پر، زائد گنتی اس تخمینے کو بھی اسی تناسب سے بڑھا دیتی ہے.

حیاتیاتی تحقیق تیز کرنے کے لیے روزمرہ کام درست کرنا ضروری ہے. BioBasicsBench اس کام میں بہتری کو ہدف بناتا ہے: خام تجرباتی ڈیٹا کی تشریح، کنٹرول نمونوں کی جانچ اور یہ پہچاننا کہ کب کسی نتیجے کی تائید نہیں ہوتی. ان کاموں میں پیش رفت سائنس دانوں کو خرابیوں کی تشخیص پر کم اور یہ طے کرنے پر زیادہ وقت دینے میں مدد کر سکتی ہے کہ آگے کون سے تجربات کیے جائیں. ان صلاحیتوں کی مسلسل نگرانی ہمیں حیاتیاتی سلامتی اور حیاتیاتی تحفظ پر ان کے اثرات سمجھنے میں بھی مدد دے گی.