Evaluarea agenților IA în activitatea zilnică din laboratoarele experimentale

Misiunea noastră este să ne asigurăm că inteligența generală artificială aduce beneficii întregii umanități. Ca parte a acestei misiuni, dorim să ajutăm oamenii de știință să accelereze cercetarea biologică, de la înțelegerea bolilor la dezvoltarea de noi tratamente. Pentru a contribui, agenții IA trebuie să interpreteze fiabil dovezile experimentale cu care cercetătorii lucrează zilnic în laboratoare, unde efectuează experimente cu probe biologice. Activitatea de zi cu zi din laboratoarele experimentale implică experimente nereușite, imagini ambigue și observații contradictorii. Benchmarkurile existente, construite în jurul graficelor și imaginilor selectate pentru lucrări științifice, pot omite această ambiguitate și efortul necesar pentru identificarea și rezolvarea problemelor. De aceea lansăm BioBasicsBench, un nou benchmark dezvoltat împreună cu Ligo, o companie de biotehnologie axată pe proiectarea enzimelor, pentru a măsura cât de bine gestionează agenții analiza de rutină din laboratoarele experimentale.

Cele 100 de sarcini ale benchmarkului verifică dacă agenții pot interpreta date experimentale brute, identifica erori și recunoaște când dovezile nu pot susține o concluzie. Rezolvarea corectă a acestor sarcini contează: interpretarea greșită a unei imagini sau trecerea cu vederea a unei probleme legate de martorii folosiți pentru verificarea rezultatelor pot duce cercetătorii la concluzii greșite și la pierderea timpului cu experimente care nu îi ajută să răspundă la întrebarea de cercetare.

La setarea „xhigh”, care permite mai mult raționament per sarcină, GPT‑6 Astra a obținut în medie 66,7% din punctajul disponibil, față de 43,8% pentru GPT‑5.6 Sol. Rezultatele arată progrese în analiza de rutină din laborator, cu loc de îmbunătățire în interpretarea imaginilor, verificarea martorilor și aplicarea contextului experimental.

BioBasicsBench folosește dovezi experimentale brute, de la imagini de geluri și plăci cu colonii până la microscopie și citiri ale instrumentelor.

BioBasicsBench cuprinde 100 de sarcini din cinci domenii ale activității de rutină din laboratoarele experimentale: metode pentru proteine, imagistică și citometrie, cuantificare și teste, metode pentru acizi nucleici și clonare moleculară. Sarcinile variază de la cerințe simple, precum citirea masei moleculare a unei probe de ADN într-un gel, până la analiza detaliată a testelor, dar toate vizează activități de rutină pe care cercetătorii din laboratoarele experimentale ar trebui să le poată efectua în mod fiabil.

Cercetătorii au creat sarcinile folosind date din propriile experimente, asociindu-i fiecărei întrebări criterii de notare redactate de experți. Fiecare sarcină a trecut printr-o evaluare internă realizată de un cercetător Ligo care nu o redactase, o evaluare externă realizată de un cercetător cu doctorat care lucrează într-un laborator experimental și o evaluare internă finală.

Agenții furnizează un răspuns structurat cu concluzia, măsurătoarea sau recomandarea solicitată și, acolo unde se cere, raționamentul justificativ. Răspunsurile primesc puncte pentru fiecare criteriu din barem, ceea ce-i permite benchmarkului să distingă o concluzie corectă de o analiză parțial corectă. Majoritatea sarcinilor testează simultan mai multe competențe, inclusiv cunoștințe biologice, interpretarea imaginilor și a altor date, detectarea erorilor și înțelegerea protocoalelor.

Datele de intrare păstrează formele de dovezi cu care lucrează cercetătorii: imagini de geluri și bloturi, fotografii ale plăcilor, serii de imagini microscopice, citiri de secvențiere, exporturi din cititoarele de plăci și videoclipuri cu activitatea practică de laborator. O sarcină poate include mai multe tipuri de date. Fișele de referință, precum schemele markerilor de masă moleculară și hărțile plasmidice, ajută la interpretarea dovezilor experimentale.

Cercetătorii au redactat sarcinile folosind date din propriile experimente, asociind dovezilor experimentale o întrebare și un barem de notare redactat de experți. Fiecare sarcină a trecut printr-o evaluare internă realizată de un cercetător Ligo care nu o redactase, o evaluare externă realizată de un cercetător cu doctorat care lucrează într-un laborator experimental și o evaluare internă finală. Evaluatorii au verificat solicitarea, dovezile experimentale, baremul, notițele autorului și o încercare notată a unui model.

Răspunsurile sunt notate conform baremului sarcinii, care atribuie puncte pentru fiecare criteriu. În funcție de sarcină, aceste criterii evaluează concluzia, rezultatele numerice, raționamentul justificativ sau recunoașterea faptului că dovezile sunt insuficiente.

Am evaluat șapte modele pe BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna și GPT‑6 Astra. Evaluarea include 37 de combinații de modele și niveluri de efort de raţionament, cu cinci încercări pentru fiecare dintre cele 100 de sarcini per configurație, însumând 18.500 de rezultate.

Raportăm recompensa medie: scorul mediu pe sarcină, exprimat ca procent din punctajul disponibil. Barele de eroare indică intervale de încredere de 95%, calculate prin reeșantionarea sarcinilor întregi, păstrând împreună cele cinci încercări pentru fiecare sarcină.

GPT‑6 Astra depășește substanțial GPT‑5.6 Sol, chiar și la un nivel scăzut al efortului de raționament. Aceste progrese sugerează că îmbunătățirea capacităților multimodale native ar putea fi esențială pentru creșterea performanței în analiza de rutină din laboratoarele experimentale.

O capcană frecventă în știință este suprainterpretarea datelor, mai ales având în vedere tendința de confirmare care apare la testarea unei ipoteze. Astra a demonstrat o capacitate mai bună de a discerne limitele a ceea ce arată datele și de a evita concluziile nejustificate.

În acest exemplu, GPT‑5.6 Sol a clasificat celulele drept moarte pe baza semnalului unui colorant folosit pentru detectarea celulelor moarte. Însă detectorul putea capta și lumina de la un al doilea colorant, așa că luminozitatea singură nu putea justifica această concluzie. Astra a recunoscut această ambiguitate și a cerut martori mai adecvați pentru separarea semnalelor.

Cercetarea științifică este profund multimodală, necesitând în permanență interpretare vizuală și luarea de decizii. Astra a demonstrat o îmbunătățire semnificativă în prelucrarea datelor multimodale furnizate ca fotografii și videoclipuri, precum și a rezultatelor brute de secvențiere, teste cu cititorul de plăci, microscopie și citometrie în flux.

La nivelul cel mai elementar, această îmbunătățire s-a observat în capacitatea GPT‑6 Astra de a sesiza detalii mai fine în imaginile realizate în timpul experimentelor și, astfel, de a trage concluzii mai exacte, după cum arată acest exemplu. Această sarcină le cerea agenților să tragă concluzii dintr-un experiment de clonare a ADN-ului, în care martorii sunt esențiali. GPT‑5.6 Sol nu a observat colonii pe placa martor negativ și și-a bazat concluziile pe această observație. GPT‑6 Astra a observat că placa era etichetată cu antibioticul greșit și, în mod corect, a respins utilizarea sa ca martor de încredere.

Pentru a interpreta corect datele, cercetătorii trebuie să țină cont de cunoștințele biologice tacite și de contextul experimental pe parcursul analizei. Astra a demonstrat o capacitate îmbunătățită de a păstra acest context și de a-l aplica pe tot parcursul analizei.

Una dintre sarcini prezenta celule care intrau și ieșeau din planul de focalizare într-o serie de imagini microscopice. În timp ce GPT‑5.6 Sol căuta o explicație biologică pentru aparenta dispariție a celulelor, GPT‑6 Astra a recunoscut corect o serie pe axa Z: imagini realizate la adâncimi diferite.

Scorurile mai mari la benchmarkuri nu înseamnă încă faptul că modelele pot face evaluări fiabile în laborator. Aceste exemple cu Astra arată cum presupunerile, răspunsurile așteptate și etichetele furnizate pot prevala asupra dovezilor și cum o observație intermediară corectă poate să nu influențeze decizia finală.

Astra lasă o presupunere familiară să prevaleze asupra interpretării susținute de martorii experimentali. Poate distinge cele două grupuri de benzi provenite din colonii, dar presupune că un produs PCR mai mare ar putea indica o clonare reușită. Pornind de la această premisă, propune pistele 4, 6, 7 și 8; în schimb, comparația cu martorii din referință selectează pistele 5, 9 și 10.

Astra ignoră observațiile care contrazic interpretarea sa preferată. Concluzionează că vacuolele, compartimente din interiorul celulelor, sunt în general mai întunecate decât restul celulei, deși unele apar mai luminoase în aceeași imagine. Ambele aspecte sunt importante: schimbarea focalizării microscopului poate inversa contrastul, așa că exemplele mai întunecate nu stabilesc o regulă generală.

Marcajele de numărare ale Astra nu corespund în mod fiabil coloniilor individuale: modelul nu distinge coloniile apropiate, omite colonii vizibile și marchează agar fără colonii. Rezultatul net pentru această placă este o numărare în exces de aproximativ 12% față de referința benchmarkului.

Numărarea inexactă a coloniilor afectează direct estimările eficienței cu care ADN-ul a fost introdus în celule. Când volumul însămânțat și diluția rămân fixe, numărarea în exces mărește această estimare în aceeași proporție.

Accelerarea cercetării biologice presupune efectuarea corectă a activităților de zi cu zi. BioBasicsBench transformă aceste activități în obiective de îmbunătățire: interpretarea datelor experimentale brute, verificarea martorilor și recunoașterea concluziilor nesusținute de dovezi. Progresul în aceste sarcini ar putea ajuta cercetătorii să petreacă mai puțin timp rezolvând probleme și mai mult timp alegând următoarele experimente. Urmărirea acestor capacități ne va ajuta și să înțelegem implicațiile lor pentru siguranța și securitatea biologică.