سنجش عملکرد عامل‌های هوش مصنوعی در کار روزمرهٔ آزمایشگاه تر

مأموریت ما این است که اطمینان حاصل کنیم هوش مصنوعی عمومی به نفع تمام بشریت باشد. در راستای این مأموریت، می‌خواهیم به دانشمندان کمک کنیم پژوهش‌های زیستی را شتاب دهند؛ از شناخت بیماری‌ها تا توسعهٔ درمان‌های جدید. عامل‌های هوش مصنوعی برای مشارکت در این کار باید بتوانند شواهد تجربی‌ای را به‌طور قابل‌اعتماد تفسیر کنند که دانشمندان هر روز در آزمایشگاه‌های تر با آن‌ها سروکار دارند؛ جایی که آزمایش‌ها را با نمونه‌های زیستی انجام می‌دهند. کار روزمره در آزمایشگاه تر با آزمایش‌های ناموفق، تصاویر مبهم و مشاهدات متناقض همراه است. بنچمارک‌های موجود که بر پایهٔ نمودارها و تصاویر منتخب برای مقالات علمی ساخته شده‌اند، ممکن است این ابهام و عیب‌یابی لازم برای رفع آن را نادیده بگیرند. به همین دلیل BioBasicsBench را معرفی می‌کنیم: بنچمارکی جدید که با همکاری Ligo، شرکت زیست‌فناوری متمرکز بر طراحی آنزیم، توسعه یافته تا بسنجد عامل‌ها تحلیل‌های معمول آزمایشگاه تر را چقدر خوب انجام می‌دهند.

۱۰۰ تکلیف این بنچمارک می‌سنجند که آیا عامل‌ها می‌توانند داده‌های خام آزمایش را تفسیر کنند، خطاها را شناسایی کنند و تشخیص دهند چه زمانی شواهد برای نتیجه‌گیری کافی نیست. انجام درست این تکالیف مهم است، زیرا برداشت نادرست از یک تصویر یا نادیده‌گرفتن مشکلی در کنترل‌های بررسی نتایج آزمایش، می‌تواند دانشمندان را به نتیجه‌گیری اشتباه برساند و باعث شود وقت خود را صرف آزمایش‌هایی کنند که به پاسخ‌دادن به پرسششان کمکی نمی‌کنند.

در تنظیم «xhigh» که امکان استدلال بیشتر برای هر تکلیف را فراهم می‌کند، GPT‑6 Astra به‌طور میانگین ۶۶٫۷٪ از امتیاز قابل‌کسب را به دست آورد، در حالی که این رقم برای GPT‑5.6 Sol برابر با ۴۳٫۸٪ بود. نتایج نشان‌دهندهٔ پیشرفت در تحلیل‌های معمول آزمایشگاهی است، هرچند هنوز در تفسیر تصاویر، بررسی کنترل‌ها و لحاظ‌کردن زمینهٔ آزمایش جای بهبود وجود دارد.

BioBasicsBench از شواهد خام آزمایش استفاده می‌کند؛ از تصاویر ژل و پلیت‌های کلنی گرفته تا تصاویر میکروسکوپی و داده‌های خوانده‌شده از دستگاه‌ها.

BioBasicsBench شامل ۱۰۰ تکلیف در پنج حوزهٔ کار معمول آزمایشگاه تر است: روش‌های پروتئینی، تصویربرداری و سیتومتری، اندازه‌گیری کمّی و سنجش‌ها، روش‌های اسید نوکلئیک و همسانه‌سازی مولکولی. تکالیف از درخواست‌های ساده، مانند خواندن وزن مولکولی یک نمونهٔ DNA در ژل، تا تحلیل دقیق سنجش‌ها را در بر می‌گیرند؛ اما همگی کارهای معمولی هستند که دانشمندان آزمایشگاه تر باید بتوانند به‌طور قابل‌اعتماد انجام دهند.

دانشمندان این تکالیف را با داده‌های آزمایش‌های خود ساختند و هر پرسش را با معیارهای نمره‌دهیِ تدوین‌شده توسط متخصصان همراه کردند. هر تکلیف ابتدا در داخل شرکت توسط دانشمندی از Ligo که نویسندهٔ آن نبود، سپس در خارج از شرکت توسط دانشمندی با مدرک دکتری و شاغل در آزمایشگاه تر، و در پایان دوباره در داخل شرکت بازبینی شد.

عامل‌ها پاسخی ساختاریافته ارائه می‌دهند که شامل نتیجه‌گیری، اندازه‌گیری یا توصیهٔ درخواستی و در صورت لزوم، استدلال پشتیبان آن است. پاسخ‌ها بر اساس تک‌تک معیارهای راهنمای نمره‌دهی امتیاز می‌گیرند؛ به این ترتیب، بنچمارک می‌تواند میان نتیجه‌گیری درست و تحلیلی که فقط تا حدی درست است تمایز بگذارد. بیشتر تکالیف چند مهارت را هم‌زمان ارزیابی می‌کنند؛ از جمله دانش زیست‌شناسی، تفسیر تصاویر و سایر داده‌ها، تشخیص خطا و درک پروتکل.

ورودی‌ها همان قالب شواهدی را حفظ می‌کنند که دانشمندان با آن‌ها کار می‌کنند: تصاویر ژل و بلات، عکس پلیت‌ها، پشته‌های تصاویر میکروسکوپی، خوانش‌های توالی‌یابی، خروجی‌های پلیت‌ریدر و ویدئوهای کار عملی آزمایشگاهی. هر تکلیف می‌تواند شامل چند نوع داده باشد. برگه‌های مرجع، مانند نمودارهای نردبان مولکولی و نقشه‌های پلاسمید، به تفسیر شواهد آزمایش کمک می‌کنند.

دانشمندان تکالیف را با داده‌های آزمایش‌های خود نوشتند و شواهد آزمایش را با یک پرسش و راهنمای نمره‌دهیِ تدوین‌شده توسط متخصصان همراه کردند. هر تکلیف ابتدا در داخل شرکت توسط دانشمندی از Ligo که نویسندهٔ آن نبود، سپس در خارج از شرکت توسط دانشمندی با مدرک دکتری و شاغل در آزمایشگاه تر، و در پایان دوباره در داخل شرکت بازبینی شد. بازبین‌ها اعلان، شواهد آزمایش، راهنمای نمره‌دهی، یادداشت‌های نویسنده و یک پاسخ نمره‌گذاری‌شدهٔ مدل را بررسی کردند.

پاسخ‌ها بر اساس راهنمای نمره‌دهی تکلیف امتیاز می‌گیرند که به هر معیار امتیازی اختصاص می‌دهد. بسته به تکلیف، این معیارها نتیجه‌گیری، نتایج عددی، استدلال پشتیبان یا تشخیص ناکافی‌بودن شواهد را ارزیابی می‌کنند.

هفت مدل را با BioBasicsBench ارزیابی کردیم: GPT‑5.2، GPT‑5.4، GPT‑5.5، GPT‑5.6 Sol، GPT‑6.1 Sol، GPT‑6 Luna و GPT‑6 Astra. این ارزیابی ۳۷ ترکیب از مدل و سطح تلاش استدلالی را پوشش می‌دهد؛ در هر ترکیب، برای هر یک از ۱۰۰ تکلیف پنج بار تلاش شده که در مجموع ۱۸٬۵۰۰ نتیجه به دست داده است.

ما میانگین پاداش را گزارش می‌کنیم: میانگین امتیاز تکالیف، به‌صورت درصدی از امتیاز قابل‌کسب. میله‌های خطا، فاصله‌های اطمینان ۹۵٪ را نشان می‌دهند که با بازنمونه‌گیری از تکالیف کامل محاسبه شده‌اند؛ به این صورت که پنج تلاش هر تکلیف در کنار هم نگه داشته شده‌اند.

GPT‑6 Astra حتی با تلاش استدلالی کم، نسبت به GPT‑5.6 Sol بهبود چشمگیری دارد. این پیشرفت‌ها نشان می‌دهند که قابلیت‌های چندوجهیِ بومیِ قوی‌تر ممکن است کلید بهبود عملکرد در تحلیل‌های روزمرهٔ آزمایشگاه تر باشند.

یکی از دام‌های رایج در علم، تفسیر داده‌ها فراتر از آن چیزی است که نشان می‌دهند؛ به‌ویژه با توجه به ماهیت سوگیری‌هایی که هنگام آزمودن یک فرضیه رخ می‌دهند. Astra توانایی بهتری در تشخیص حدود آنچه داده‌ها نشان می‌دهند و پرهیز از نتیجه‌گیری‌های بی‌پشتوانه نشان داد.

در این مثال، GPT‑5.6 Sol بر اساس سیگنال رنگی که برای شناسایی سلول‌های مرده استفاده می‌شود، سلول‌ها را مرده طبقه‌بندی کرد. اما آشکارساز می‌توانست نور رنگ دوم را نیز دریافت کند؛ بنابراین روشنایی به‌تنهایی چنین نتیجه‌ای را توجیه نمی‌کرد. Astra این ابهام را تشخیص داد و برای تفکیک سیگنال‌ها، خواستار کنترل‌های بهتری شد.

پژوهش علمی ماهیتی بسیار چندوجهی دارد و مستلزم تفسیر مداوم اطلاعات دیداری و تصمیم‌گیری است. Astra در پردازش داده‌های چندوجهی که به‌شکل عکس و ویدئو و نیز خروجی خام توالی‌یابی، سنجش‌های پلیت‌ریدر، میکروسکوپی و فلوسایتومتری ارائه شده بودند، بهبود چشمگیری نشان داد.

در ابتدایی‌ترین سطح، این بهبود در توانایی GPT‑6 Astra برای تشخیص جزئیات ظریف‌تر تصاویر ثبت‌شده حین آزمایش و در نتیجه، رسیدن به نتیجه‌گیری‌های دقیق‌تر مشهود بود؛ همان‌طور که در این مثال دیده می‌شود. در این تکلیف از عامل‌ها خواسته شد از یک آزمایش همسانه‌سازی DNA نتیجه‌گیری کنند؛ آزمایشی که کنترل‌ها در آن ضروری‌اند. GPT‑5.6 Sol هیچ کلنی‌ای روی پلیت کنترل منفی ندید و نتیجه‌گیری خود را بر همین مشاهده بنا کرد. GPT‑6 Astra متوجه شد که روی برچسب پلیت، آنتی‌بیوتیک اشتباهی درج شده و به‌درستی آن را به‌عنوان کنترلی قابل‌اعتماد نپذیرفت.

دانشمندان برای تفسیر درست داده‌ها باید هنگام تحلیل، دانش ضمنی زیست‌شناسی و زمینهٔ آزمایش را در نظر داشته باشند. Astra توانایی بهتری در حفظ این زمینه و به‌کارگیری آن در سراسر تحلیل نشان داد.

یکی از تکالیف، مجموعه‌ای از تصاویر میکروسکوپی را نشان می‌داد که در آن سلول‌ها وارد محدودهٔ فوکوس و از آن خارج می‌شدند. در حالی که GPT‑5.6 Sol به‌دنبال توضیحی زیستی برای ناپدیدشدن ظاهری سلول‌ها بود، GPT‑6 Astra به‌درستی تشخیص داد که تصاویر یک پشته در محور z هستند: مجموعه‌ای از تصاویر ثبت‌شده در عمق‌های مختلف.

امتیاز بالاتر در بنچمارک هنوز به این معنا نیست که مدل‌ها می‌توانند در آزمایشگاه قضاوت‌های قابل‌اعتماد داشته باشند. این نمونه‌ها از عملکرد Astra نشان می‌دهند که چگونه فرض‌ها، پاسخ‌های موردانتظار و برچسب‌های ارائه‌شده می‌توانند بر شواهد غلبه کنند، و چگونه یک مشاهدهٔ میانیِ درست ممکن است نتواند تصمیم نهایی را هدایت کند.

Astra یک فرض آشنا را بر تفسیری که کنترل‌های آزمایش تأیید می‌کنند ترجیح می‌دهد. این مدل می‌تواند دو گروه باندهای کلنی‌ها را از هم تشخیص دهد، اما فرض می‌کند محصول بزرگ‌تر PCR نشان‌دهندهٔ همسانه‌سازی موفق است. بر پایهٔ این فرض، مسیرهای ۴، ۶، ۷ و ۸ را پیشنهاد می‌دهد؛ در مقابل، مقایسه با کنترل‌ها در پاسخ مرجع به انتخاب مسیرهای ۵، ۹ و ۱۰ منجر می‌شود.

Astra مشاهدات ناسازگار با تفسیر ترجیحی خود را کم‌اهمیت می‌شمارد. این مدل نتیجه می‌گیرد که واکوئل‌ها، یعنی محفظه‌های درون سلول، عموماً از بخش‌های اطراف خود در سلول تیره‌ترند؛ در حالی که برخی از آن‌ها در همان تصویر روشن‌تر دیده می‌شوند. هر دو ظاهر اهمیت دارند: تغییر فوکوس میکروسکوپ می‌تواند کنتراست را معکوس کند، پس نمونه‌های تیره‌تر یک قاعدهٔ کلی را اثبات نمی‌کنند.

علامت‌های شمارش Astra به‌طور قابل‌اعتماد با تک‌تک کلنی‌ها مطابقت ندارند: کلنی‌های نزدیک به هم را تفکیک نمی‌کند، برخی کلنی‌های قابل‌مشاهده را جا می‌اندازد و آگار خالی را علامت می‌زند. نتیجهٔ نهایی روی این پلیت، شمارشی حدود ۱۲٪ بیشتر از مقدار مرجع بنچمارک است.

شمارش نادرست کلنی‌ها مستقیماً بر برآورد بازده ورود DNA به سلول‌ها اثر می‌گذارد. اگر حجم کشت‌شده روی پلیت و میزان رقیق‌سازی ثابت بمانند، بیش‌شماری این برآورد را به همان نسبت افزایش می‌دهد.

شتاب‌دادن به پژوهش‌های زیستی مستلزم انجام درست کارهای روزمره است. BioBasicsBench این کارها را به هدفی برای بهبود تبدیل می‌کند: تفسیر داده‌های خام آزمایش، بررسی کنترل‌ها و تشخیص زمانی که شواهد از یک نتیجه‌گیری پشتیبانی نمی‌کنند. پیشرفت در این تکالیف می‌تواند به دانشمندان کمک کند وقت کمتری صرف عیب‌یابی و وقت بیشتری صرف تصمیم‌گیری دربارهٔ آزمایش‌های بعدی کنند. رصد این قابلیت‌ها همچنین به ما کمک می‌کند پیامدهای آن‌ها را برای ایمنی زیستی و امنیت زیستی درک کنیم.