Оцінюємо, як агенти ШІ справляються з повсякденною лабораторною роботою

Наша місія — забезпечити, щоб штучний загальний інтелект приносив користь усьому людству. У межах цієї місії ми хочемо допомогти науковцям прискорити біологічні дослідження — від розуміння хвороб до розроблення нових методів лікування. Щоб агенти ШІ могли долучитися до цієї роботи, вони мають надійно тлумачити експериментальні дані, з якими науковці щодня працюють у лабораторіях, проводячи досліди з біологічними зразками. Повсякденна робота в експериментальній лабораторії включає невдалі досліди, неоднозначні знімки та суперечливі спостереження. Наявні бенчмарки, побудовані на графіках і знімках, відібраних для наукових статей, можуть не враховувати цієї неоднозначності та потреби з’ясовувати причини проблем. Тому ми представляємо BioBasicsBench — новий бенчмарк, розроблений разом із біотехнологічною компанією Ligo, що спеціалізується на проєктуванні ферментів. Він вимірює, наскільки добре агенти справляються з повсякденним лабораторним аналізом.

100 завдань бенчмарку перевіряють, чи здатні агенти тлумачити первинні експериментальні дані, виявляти помилки й розпізнавати випадки, коли даних недостатньо для висновку. Правильне виконання цих завдань важливе: хибне тлумачення знімку або непомічена проблема з контрольними зразками для перевірки результатів експерименту можуть призвести до помилкових висновків і витрати часу на досліди, що не допоможуть відповісти на наукове запитання.

За зусилля «Дуже велике», яке дає змогу більше міркувати над кожним завданням, GPT‑6 Astra набрала в середньому 66,7% від максимально можливої кількості балів проти 43,8% у GPT‑5.6 Sol. Результати демонструють прогрес у повсякденному лабораторному аналізі, водночас залишаючи простір для покращення тлумачення знімків, перевірки контрольних зразків і врахування контексту експерименту.

BioBasicsBench використовує первинні експериментальні дані — від знімків гелів і чашок із колоніями до мікроскопічних знімків і показників приладів.

Бенчмарк містить 100 завдань із п’яти напрямів повсякденної лабораторної роботи: методи дослідження білків, візуалізація та цитометрія, кількісне визначення та аналізи, методи дослідження нуклеїнових кислот і молекулярне клонування. Завдання варіюються від простих запитів, як-от визначення молекулярної маси зразка ДНК у гелі, до докладного розбору результатів аналізів. Проте всі вони стосуються рутинних процесів, які науковці в експериментальних лабораторіях мають уміти надійно виконувати.

Науковці створили завдання на основі даних власних експериментів, додавши до кожного запитання критерії оцінювання, написані експертами. Кожне завдання пройшло внутрішню перевірку іншим науковцем Ligo, який не був його автором, зовнішнє рецензування дослідником зі ступенем PhD, що працює в експериментальній лабораторії, а також фінальний внутрішній контроль.

Агенти повертають структуровану відповідь із запитаним висновком, результатом вимірювання або рекомендацією та, за потреби, міркуваннями на їхнє обґрунтування. За відповіді нараховують бали за окремими критеріями оцінювання, що дає змогу відрізняти правильний висновок від частково правильного аналізу. Більшість завдань перевіряють одразу кілька навичок, зокрема біологічні знання, тлумачення знімків та інших даних, виявлення помилок і розуміння протоколів.

Вхідні дані зберігають звичні для науковців форми: знімки гелів і блотів, фотографії чашок, мікроскопічні стеки, прочитання секвенування, експортовані дані планшетних рідерів і відео лабораторної роботи. Одне завдання може містити кілька типів даних. Довідкові матеріали, як-от схеми маркерів молекулярної маси та карти плазмід, допомагають тлумачити експериментальні дані.

Науковці написали завдання на основі власних експериментів, поєднавши експериментальні дані із запитанням і системою критеріїв оцінювання, розробленою експертами. Кожне завдання пройшло внутрішню перевірку науковцем Ligo, який не був його автором, зовнішню перевірку науковцем зі ступенем PhD, що працює в експериментальній лабораторії, та фінальну внутрішню перевірку. Рецензенти перевіряли запит, експериментальні дані, критерії оцінювання, примітки автора та оцінену спробу моделі.

Відповіді оцінюють за системою критеріїв завдання, нараховуючи бали за кожним критерієм окремо. Залежно від завдання ці критерії оцінюють висновок, числові результати, міркування на їхнє обґрунтування або визнання недостатності даних.

Ми оцінили сім моделей на BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna та GPT‑6 Astra. Оцінювання охоплює 37 поєднань моделі та зусилля: для кожного поєднання виконано по п'ять спроб на кожному зі 100 завдань — загалом 18 500 результатів.

Ми наводимо середню винагороду — середню оцінку за завдання, виражену у відсотках від максимально можливої кількості балів. Смуги похибок відображають 95% довірчі інтервали, розраховані методом бутстрепу на рівні завдань (із групуванням усіх п'яти спроб кожного з них разом).

GPT‑6 Astra значно перевершує GPT‑5.6 Sol навіть за невеликого зусилля міркування. Ці покращення свідчать, що потужніші вбудовані мультимодальні можливості можуть бути ключем до кращого виконання повсякденного лабораторного аналізу.

Поширена пастка в науці — надмірне тлумачення даних, особливо з огляду на упередження, що виникають під час перевірки гіпотези. Astra продемонструвала кращу здатність розпізнавати межі того, що показують дані, й не робити необґрунтованих висновків.

У цьому прикладі GPT‑5.6 Sol класифікувала клітини як мертві на основі сигналу барвника, що використовується для виявлення мертвих клітин. Але детектор міг також реєструвати світло від іншого барвника, тому самої яскравості було недостатньо для такого висновку. Astra розпізнала цю неоднозначність і вказала на потребу в кращих контрольних зразках для розділення сигналів.

Наукові дослідження значною мірою мультимодальні й потребують постійної інтерпретації візуальної інформації та ухвалення рішень. Astra продемонструвала суттєвий прогрес у роботі з різнорідними даними — зокрема знімками й відео, а також первинними даними секвенування, мікроскопії, проточної цитометрії та аналізів на планшетному рідері.

Насамперед це покращення проявилося в здатності GPT‑6 Astra розпізнавати дрібні деталі на знімках з експериментів і робити точніші висновки, як у наведеному прикладі. Тут агенти мали оцінити результати клонування ДНК, де критичне значення мають контрольні зразки. GPT‑5.6 Sol не виявила колоній на чашці негативного контролю й побудувала на цьому свої висновки. Проте GPT‑6 Astra звернула увагу, що на чашці вказано не той антибіотик, і слушно визначила цей контроль як ненадійний.

Щоб правильно тлумачити дані, науковці мають під час аналізу враховувати неявні біологічні знання та контекст експерименту. Astra продемонструвала кращу здатність утримувати цей контекст і застосовувати його протягом усього аналізу.

В одному із завдань було показано серію мікроскопічних знімків, на яких клітини то потрапляли у фокус, то виходили з нього. Тоді як GPT‑5.6 Sol шукала біологічне пояснення позірного зникнення клітин, GPT‑6 Astra правильно розпізнала z-стек — серію знімків, зроблених на різній глибині.

Вищі оцінки на бенчмарку ще не означають, що моделі здатні робити надійні висновки в лабораторії. Ці приклади роботи Astra показують, як припущення, очікувані відповіді й надані підписи можуть переважити фактичні дані, а правильне проміжне спостереження — не вплинути на остаточне рішення.

Astra дозволяє звичному припущенню переважити інтерпретацію, підтверджену контрольними зразками експерименту. Вона розрізняє дві групи смуг зразків колоній, але припускає, що більший ПЛР-продукт свідчить про успішне клонування. На цій підставі вона пропонує доріжки 4, 6, 7 і 8; натомість порівняння з контрольними зразками в еталонній відповіді вказує на доріжки 5, 9 і 10.

Astra нехтує спостереженнями, що суперечать обраній нею інтерпретації. Вона робить висновок, що вакуолі — внутрішні компартменти клітин — зазвичай темніші за навколишню частину клітини, хоча деякі з них на тому самому знімку виглядають світлішими. Обидва варіанти важливі: зміна фокусування мікроскопа може змінювати контраст на протилежний, тож приклади з темнішими вакуолями не дають підстав для загального правила.

Позначки підрахунку Astra не мають надійної відповідності окремим колоніям: вона не розрізняє близьких сусідів, пропускає видимі колонії та позначає ділянки агару без колоній. У підсумку кількість колоній на цій чашці завищено приблизно на 12% порівняно з еталоном бенчмарку.

Неточний підрахунок колоній безпосередньо впливає на оцінку ефективності введення ДНК у клітини. За незмінних об’єму висіву та розведення завищений підрахунок збільшує цю оцінку в тій самій пропорції.

Прискорення біологічних досліджень потребує надійного виконання повсякденної роботи. BioBasicsBench фокусується на вдосконаленні саме цих процесів: тлумачення первинних експериментальних даних, перевірки контрольних зразків і розпізнавання необґрунтованих висновків. Прогрес у цих завданнях міг би допомогти науковцям витрачати менше часу на з’ясування причин проблем і більше — на вибір наступних експериментів. Відстеження цих можливостей також допоможе нам зрозуміти їхні наслідки для біобезпеки та біозахисту.