قياس كفاءة وكلاء AI في العمل العلمي اليومي بالمختبرات الرطبة

مهمتنا هي ضمان أن يعود الذكاء الاصطناعي العام بالنفع على البشرية جمعاء. وفي إطار هذه المهمة، نريد مساعدة العلماء على تسريع الأبحاث البيولوجية، من فهم الأمراض إلى تطوير علاجات جديدة. ولكي يسهم وكلاء AI في ذلك، عليهم تفسير الأدلة التجريبية بموثوقية، وهي الأدلة التي يتعامل معها العلماء يوميًا في المختبرات الرطبة، حيث يُجرون تجارب على عينات بيولوجية. يتضمن العمل اليومي في المختبرات الرطبة تجارب فاشلة، وصورًا ملتبسة، وملاحظات متعارضة. تعتمد الاختبارات المعيارية الحالية على مخططات وصور منتقاة للأوراق العلمية، وقد تغفل هذا الالتباس وما يتطلبه من تشخيص للمشكلات ومعالجتها. لذلك نقدّم BioBasicsBench، وهو اختبار معياري جديد طوّرناه بالتعاون مع Ligo، وهي شركة تقنيات حيوية تركز على تصميم الإنزيمات، لقياس مدى كفاءة الوكلاء في التعامل مع التحليلات الروتينية في المختبرات الرطبة.

تختبر مهامه المئة قدرة الوكلاء على تفسير البيانات التجريبية الخام، وتحديد الأخطاء، وإدراك متى لا تكفي الأدلة لدعم استنتاج ما. إنجاز هذه المهام على نحو صحيح مهم، لأن إساءة قراءة صورة أو إغفال مشكلة في الضوابط المستخدمة للتحقق من نتائج تجربة قد يقود العلماء إلى استنتاج خاطئ وإضاعة الوقت في تجارب لن تساعد في الإجابة عن سؤالهم.

عند إعداد «xhigh»، الذي يتيح مزيدًا من الاستدلال لكل مهمة، حقق GPT‑6 Astra متوسطًا قدره 66.7% من النقاط الممكنة، مقابل 43.8% لـGPT‑5.6 Sol. تُظهر النتائج تقدمًا في التحليل المختبري الروتيني، مع بقاء مجال لمزيد من التحسين في تفسير الصور، وفحص الضوابط التجريبية، ومراعاة سياق التجربة.

يستخدم BioBasicsBench أدلة تجريبية خامًا، من صور الهلام وأطباق المستعمرات إلى الصور المجهرية وقراءات الأجهزة.

يضم BioBasicsBench مئة مهمة في خمسة مجالات من العمل الروتيني في المختبرات الرطبة: تقنيات البروتينات، والتصوير وقياس الخلايا، والقياس الكمي والفحوص، وتقنيات الأحماض النووية، والاستنساخ الجزيئي. تتراوح المهام بين طلبات بسيطة، مثل قراءة الوزن الجزيئي لعينة DNA في هلام، وتحليل تفصيلي للفحوص، لكنها جميعًا تتناول أعمالًا روتينية ينبغي لعلماء المختبرات الرطبة إنجازها بموثوقية.

أنشأ العلماء المهام باستخدام بيانات من تجاربهم الخاصة، وأرفقوا بكل سؤال معايير تقييم كتبها خبراء. خضعت كل مهمة لمراجعة داخلية أجراها عالم من Ligo لم يشارك في كتابتها، ثم مراجعة خارجية أجراها عالم حاصل على الدكتوراه ويعمل في مختبر رطب، ثم مراجعة داخلية نهائية.

يقدّم الوكلاء إجابة منظّمة تتضمن الاستنتاج أو القياس أو التوصية المطلوبة، مع الاستدلال الداعم عند الحاجة. تُمنح الإجابات نقاطًا وفقًا لكل معيار من معايير التقييم، مما يتيح للاختبار المعياري التمييز بين استنتاج صحيح وتحليل صحيح جزئيًا. تختبر معظم المهام عدة مهارات معًا، منها المعرفة البيولوجية، وتفسير الصور وغيرها من البيانات، واكتشاف الأخطاء، وفهم البروتوكولات.

تحافظ المدخلات على أشكال الأدلة التي يتعامل معها العلماء: صور الهلام واللطخات، وصور الأطباق، ومكدسات الصور المجهرية، وقراءات التسلسل، والملفات المصدَّرة من قارئ الصفائح، وفيديوهات العمل على طاولة المختبر. قد تتضمن المهمة عدة أنواع من البيانات. تساعد الأوراق المرجعية، مثل مخططات سلالم الأحجام الجزيئية وخرائط البلازميدات، في تفسير الأدلة التجريبية.

كتب العلماء المهام باستخدام بيانات من تجاربهم الخاصة، وأرفقوا بالأدلة التجريبية سؤالًا وسلّم تقييم أعدّه خبراء. مرّت كل مهمة بمراجعة داخلية أجراها عالم من Ligo لم يشارك في كتابتها، ثم مراجعة خارجية أجراها عالم حاصل على الدكتوراه ويعمل في مختبر رطب، ثم مراجعة داخلية نهائية. فحص المراجعون المطالبة والأدلة التجريبية وسلّم التقييم وملاحظات المؤلف ومحاولةً للنموذج سبق تقييمها.

تُقيَّم الإجابات وفق سلّم تقييم المهمة، الذي يخصص نقاطًا لكل معيار على حدة. وبحسب المهمة، تقيّم هذه المعايير الاستنتاج أو النتائج العددية أو الاستدلال الداعم أو إدراك عدم كفاية الأدلة.

قيّمنا سبعة نماذج باستخدام BioBasicsBench:‏ GPT‑5.2 وGPT‑5.4 وGPT‑5.5 وGPT‑5.6 Sol وGPT‑6.1 Sol وGPT‑6 Luna وGPT‑6 Astra. يشمل التقييم 37 توليفة من النماذج وإعدادات جهد الاستدلال، مع خمس محاولات لكل مهمة من المهام المئة في كل توليفة، بإجمالي 18,500 نتيجة.

نعرض متوسط المكافأة: وهو متوسط درجات المهام، معبَّرًا عنه بنسبة مئوية من مجموع النقاط الممكنة. تُظهر أشرطة الخطأ فواصل ثقة بنسبة 95%، حُسبت بإعادة أخذ عينات من المهام الكاملة، مع إبقاء المحاولات الخمس لكل مهمة معًا.

يحقق GPT‑6 Astra تحسنًا كبيرًا مقارنةً بـGPT‑5.6 Sol، حتى عند جهد استدلال منخفض. تشير هذه النتائج إلى أن تعزيز قدرات النموذج المدمجة على معالجة وسائط متعددة قد يكون عاملًا أساسيًا في تحسين أدائه في التحليلات اليومية في المختبرات الرطبة.

من الأخطاء الشائعة في العلوم تحميل البيانات أكثر مما تحتمل، لا سيما بالنظر إلى طبيعة التحيز الذي يحدث عند اختبار فرضية. أظهر Astra قدرة أفضل على تمييز حدود ما تُظهره البيانات وتجنّب استنتاجات لا تبررها الأدلة.

في هذا المثال، صنّف GPT‑5.6 Sol خلايا على أنها ميتة بناءً على إشارة صبغة تُستخدم للكشف عن الخلايا الميتة. لكن الكاشف كان قادرًا أيضًا على التقاط ضوء من صبغة ثانية، لذا لم يكن السطوع وحده كافيًا لتبرير ذلك الاستنتاج. أدرك Astra هذا الالتباس وطالب بضوابط تجريبية أفضل لفصل الإشارات.

يعتمد البحث العلمي بدرجة كبيرة على وسائط متعددة، ويتطلب تفسيرًا بصريًا واتخاذ قرارات باستمرار. أظهر Astra تحسنًا ملحوظًا في التعامل مع بيانات متعددة الوسائط قُدّمت في صور وفيديوهات، إلى جانب المخرجات الخام لتحديد التسلسل، وفحوص قارئ الصفائح، والتصوير المجهري، وقياس التدفق الخلوي.

وعلى أبسط المستويات، ظهر هذا التحسن في قدرة GPT‑6 Astra على التقاط تفاصيل أدق من الصور المأخوذة أثناء التجارب، ومن ثم التوصل إلى استنتاجات أكثر دقة، كما يوضح هذا المثال. طُلب من الوكلاء في هذه المهمة استخلاص استنتاجات من تجربة لاستنساخ الحمض النووي DNA، تؤدي فيها الضوابط التجريبية دورًا أساسيًا. لم يرَ GPT‑5.6 Sol أي مستعمرات على طبق الضبط السلبي، وبنى استنتاجاته على هذه الملاحظة. لاحظ GPT‑6 Astra أن البيانات على الطبق تشير إلى مضاد حيوي غير المطلوب، فرفض بحق اعتباره عينة ضابطة موثوقة.

يجب على العلماء استحضار المعرفة البيولوجية الضمنية وسياق التجربة أثناء تحليل البيانات لتفسير ما تُظهره تفسيرًا صحيحًا. أظهر Astra تحسنًا في قدرته على الاحتفاظ بهذا السياق وتطبيقه طوال التحليل.

عرضت إحدى المهام خلايا تدخل في نطاق التركيز البؤري وتخرج منه عبر سلسلة من الصور المجهرية. وبينما بحث GPT‑5.6 Sol عن تفسير بيولوجي للاختفاء الظاهري للخلايا، أدرك GPT‑6 Astra على نحو صحيح أن الصور تشكّل مكدسًا على المحور z، أي أنها التُقطت عند أعماق مختلفة.

لا تعني الدرجات الأعلى في الاختبارات المعيارية بعدُ أن النماذج قادرة على إصدار أحكام موثوقة في المختبر. توضح هذه الأمثلة من Astra كيف يمكن للافتراضات والإجابات المتوقعة والتسميات المقدَّمة أن تطغى على الأدلة، وكيف قد لا تنعكس ملاحظة صحيحة أثناء التحليل على القرار النهائي.

يغلّب Astra افتراضًا مألوفًا على التفسير الذي تدعمه الضوابط التجريبية. يمكنه التمييز بين مجموعتي حزم المستعمرات، لكنه يفترض أن ناتج PCR الأكبر يدل على نجاح الاستنساخ. وبناءً على هذا الافتراض، يقترح المسارات 4 و6 و7 و8؛ بينما تختار الإجابة المرجعية، استنادًا إلى المقارنة بالعينات الضابطة، المسارات 5 و9 و10.

يقلّل Astra من شأن الملاحظات التي تناقض تفسيره المفضّل. يستنتج أن الفجوات، وهي حجرات داخل الخلايا، أغمق عمومًا من بقية الخلية المحيطة بها، رغم أن بعضها يبدو أفتح في الصورة نفسها. كلا المظهرين مهم: فتغيير التركيز البؤري للمجهر قد يعكس التباين، لذا لا تكفي الأمثلة الأغمق لإثبات قاعدة عامة.

لا تقابل كل علامة عدّ يضعها Astra مستعمرة واحدة بالضرورة، فهو لا يميّز بعض المستعمرات المتقاربة بعضها من بعض، ويغفل مستعمرات ظاهرة، ويضع علامات على أجزاء من الآغار تخلو من المستعمرات. المحصلة في هذا الطبق هي زيادة في العدّ بنحو 12% مقارنةً بالمرجع المعتمد في الاختبار المعياري.

يؤثر العدّ غير الدقيق للمستعمرات مباشرةً في تقدير كفاءة إدخال الحمض النووي DNA إلى الخلايا. ومع ثبات حجم العينة المزروعة على الطبق والتخفيف، تؤدي الزيادة في العدّ إلى تضخيم ذلك التقدير بالنسبة نفسها.

يتطلب تسريع الأبحاث البيولوجية إنجاز العمل اليومي على نحو صحيح. يجعل BioBasicsBench هذا العمل هدفًا للتحسين: تفسير البيانات التجريبية الخام، وفحص الضوابط التجريبية، وإدراك متى لا تدعم الأدلة استنتاجًا ما. قد يساعد التقدم في هذه المهام العلماء على تقليل الوقت الذي يقضونه في تشخيص المشكلات ومعالجتها، وتخصيص مزيد من الوقت لتحديد التجارب التالية. سيساعدنا تتبّع هذه القدرات أيضًا على فهم آثارها في السلامة البيولوجية والأمن البيولوجي.