Valutare come gli agenti di IA affrontano il lavoro quotidiano in laboratorio

La nostra missione è garantire che l’intelligenza artificiale generale porti benefici a tutta l’umanità. Nell’ambito di questa missione, vogliamo aiutare gli scienziati ad accelerare la ricerca biologica, dalla comprensione delle malattie allo sviluppo di nuove terapie. Per poter contribuire, gli agenti di IA devono interpretare in modo affidabile le evidenze sperimentali con cui gli scienziati lavorano ogni giorno nei laboratori, dove conducono esperimenti su campioni biologici. Il lavoro quotidiano in laboratorio comprende esperimenti falliti, immagini ambigue e osservazioni contrastanti. I benchmark esistenti, costruiti intorno a grafici e immagini selezionati per le pubblicazioni scientifiche, possono non cogliere questa ambiguità e la risoluzione dei problemi che essa richiede. Per questo presentiamo BioBasicsBench, un nuovo benchmark sviluppato con Ligo, azienda biotecnologica specializzata nella progettazione di enzimi, per misurare quanto gli agenti siano capaci di svolgere le analisi di routine in laboratorio.

I 100 compiti del benchmark verificano se gli agenti sanno interpretare dati sperimentali grezzi, individuare errori e riconoscere quando le evidenze non consentono di sostenere una conclusione. Svolgere correttamente questi compiti è importante: interpretare male un’immagine o trascurare un problema nei controlli usati per verificare i risultati di un esperimento può portare gli scienziati a conclusioni errate e a dedicare tempo a esperimenti che non aiuteranno a rispondere alla loro domanda.

Con l’impostazione “xhigh”, che consente più ragionamento per compito, GPT‑6 Astra ha ottenuto in media il 66,7% del punteggio massimo, rispetto al 43,8% di GPT‑5.6 Sol. I risultati mostrano progressi nelle analisi di routine in laboratorio, con margini di ulteriore miglioramento nell’interpretazione delle immagini, nella verifica dei controlli e nell’uso del contesto sperimentale.

BioBasicsBench usa evidenze sperimentali grezze, dalle immagini di gel e piastre con colonie alle immagini al microscopio e alle letture degli strumenti.

BioBasicsBench comprende 100 compiti in cinque ambiti del lavoro di routine in laboratorio: metodi per le proteine, imaging e citometria, quantificazione e saggi, metodi per gli acidi nucleici e clonaggio molecolare. I compiti spaziano da richieste semplici, come leggere il peso molecolare di un campione di DNA in un gel, ad analisi dettagliate di saggi, ma riguardano tutti attività di routine che gli scienziati di laboratorio dovrebbero saper svolgere in modo affidabile.

Gli scienziati hanno creato i compiti usando dati dei propri esperimenti e associando a ogni domanda criteri di valutazione redatti da esperti. Ogni compito è stato sottoposto a una revisione interna da parte di uno scienziato di Ligo diverso dall’autore, a una revisione esterna da parte di uno scienziato con dottorato attivo in un laboratorio sperimentale e a una revisione interna finale.

Gli agenti restituiscono una risposta strutturata con la conclusione, la misurazione o la raccomandazione richiesta e, ove previsto, il ragionamento a supporto. Alle risposte vengono assegnati punti in base ai singoli criteri della griglia di valutazione, consentendo al benchmark di distinguere una conclusione corretta da un’analisi parzialmente corretta. La maggior parte dei compiti valuta più competenze insieme, tra cui conoscenze biologiche, interpretazione di immagini e altri dati, individuazione degli errori e comprensione dei protocolli.

Gli input mantengono i formati delle evidenze con cui lavorano gli scienziati: immagini di gel e blot, fotografie di piastre, stack di microscopia, letture di sequenziamento, dati esportati da lettori di piastre e video del lavoro al banco. Un compito può includere diversi tipi di dati. Le schede di riferimento, come gli schemi dei marcatori di peso molecolare e le mappe plasmidiche, aiutano a interpretare le evidenze sperimentali.

Gli scienziati hanno scritto i compiti usando dati dei propri esperimenti, associando alle evidenze sperimentali una domanda e una griglia di valutazione redatta da esperti. Ogni compito è passato attraverso una revisione interna da parte di uno scienziato di Ligo diverso dall’autore, una revisione esterna da parte di uno scienziato con dottorato attivo in un laboratorio sperimentale e una revisione interna finale. I revisori hanno verificato il prompt, le evidenze sperimentali, la griglia di valutazione, le note dell’autore e un tentativo del modello già valutato.

Le risposte vengono valutate in base alla griglia del compito, che assegna punti ai singoli criteri. A seconda del compito, questi criteri valutano la conclusione, i risultati numerici, il ragionamento a supporto o il riconoscimento dell’insufficienza delle evidenze.

Abbiamo valutato sette modelli su BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna e GPT‑6 Astra. La valutazione copre 37 combinazioni di modello e intensità di ragionamento, con cinque tentativi per ciascuno dei 100 compiti a ogni impostazione, per un totale di 18.500 risultati.

Riportiamo la ricompensa media: il punteggio medio dei compiti, espresso come percentuale del punteggio massimo ottenibile. Le barre di errore mostrano intervalli di confidenza al 95%, calcolati ricampionando interi compiti e mantenendo insieme i cinque tentativi di ciascun compito.

GPT‑6 Astra migliora nettamente rispetto a GPT‑5.6 Sol, anche con un’intensità di ragionamento bassa. Questi progressi suggeriscono che capacità multimodali native più avanzate potrebbero essere determinanti per migliorare le prestazioni nelle analisi quotidiane di laboratorio.

Un errore comune nella scienza è attribuire ai dati più significato di quanto ne abbiano, soprattutto per via dei bias che intervengono quando si verifica un’ipotesi. Astra ha dimostrato una maggiore capacità di riconoscere i limiti di ciò che i dati mostrano e di non trarre conclusioni ingiustificate.

In questo esempio, GPT‑5.6 Sol ha classificato alcune cellule come morte sulla base del segnale di un colorante usato per rilevare le cellule morte. Il rilevatore, però, poteva captare anche la luce di un secondo colorante, quindi la sola luminosità non bastava a giustificare quella conclusione. Astra ha riconosciuto questa ambiguità e ha richiesto controlli migliori per separare i segnali.

La ricerca scientifica è fortemente multimodale e richiede una continua interpretazione visiva e un costante processo decisionale. Astra ha mostrato un miglioramento significativo nella gestione di dati multimodali forniti sotto forma di foto e video, nonché di dati grezzi provenienti da sequenziamento, saggi con lettori di piastre, microscopia e citometria a flusso.

Al livello più basilare, questo miglioramento emergeva dalla capacità di GPT‑6 Astra di cogliere dettagli più fini nelle immagini acquisite durante gli esperimenti e, quindi, di trarre conclusioni più accurate, come mostra questo esempio. Questo compito chiedeva agli agenti di trarre conclusioni da un esperimento di clonaggio del DNA, in cui i controlli sono essenziali. GPT‑5.6 Sol non ha rilevato colonie sulla piastra di controllo negativo e ha basato le proprie conclusioni su questa osservazione. GPT‑6 Astra ha notato che l’etichetta della piastra indicava l’antibiotico sbagliato e l’ha correttamente esclusa come controllo affidabile.

Per interpretare correttamente i dati, durante l’analisi gli scienziati devono tenere a mente sia le conoscenze biologiche tacite sia il contesto sperimentale. Astra ha dimostrato una maggiore capacità di mantenere questo contesto e applicarlo lungo tutta l’analisi.

Un compito mostrava cellule che apparivano a fuoco e fuori fuoco in una serie di immagini al microscopio. Mentre GPT‑5.6 Sol cercava una spiegazione biologica per l’apparente scomparsa delle cellule, GPT‑6 Astra ha riconosciuto correttamente uno z-stack: una serie di immagini acquisite a profondità diverse.

Punteggi più alti nei benchmark non significano ancora che i modelli siano in grado di formulare giudizi affidabili in laboratorio. Questi esempi di Astra mostrano come ipotesi, risposte attese ed etichette fornite possano prevalere sulle evidenze e come un’osservazione intermedia corretta possa non guidare la decisione finale.

Astra lascia che un’ipotesi abituale prevalga sull’interpretazione supportata dai controlli sperimentali. Riesce a distinguere i due gruppi di bande delle colonie, ma presume che un prodotto PCR più grande indichi un clonaggio riuscito. Su questa base propone le corsie 4, 6, 7 e 8; il confronto con i controlli nella risposta di riferimento seleziona invece le corsie 5, 9 e 10.

Astra sminuisce le osservazioni che contraddicono la sua interpretazione preferita. Conclude che i vacuoli, compartimenti interni alle cellule, sono generalmente più scuri del resto della cellula, anche se alcuni appaiono più chiari nella stessa immagine. Entrambi gli aspetti sono importanti: modificare la messa a fuoco del microscopio può invertire il contrasto, quindi gli esempi più scuri non stabiliscono una regola generale.

I segni di conteggio di Astra non corrispondono in modo affidabile alle singole colonie: il modello non distingue le colonie ravvicinate, ne omette alcune visibili e contrassegna zone di agar prive di colonie. Il risultato netto su questa piastra è un conteggio superiore di circa il 12% rispetto al riferimento del benchmark.

Un conteggio impreciso delle colonie influisce direttamente sulle stime dell’efficienza con cui il DNA è stato introdotto nelle cellule. A parità di volume piastrato e diluizione, un conteggio eccessivo aumenta tale stima nella stessa proporzione.

Per accelerare la ricerca biologica occorre svolgere correttamente il lavoro quotidiano. BioBasicsBench rende questo lavoro un obiettivo di miglioramento: interpretare dati sperimentali grezzi, verificare i controlli e riconoscere quando una conclusione non è supportata. I progressi in questi compiti potrebbero aiutare gli scienziati a dedicare meno tempo alla risoluzione dei problemi e più tempo a decidere quali esperimenti condurre in seguito. Monitorare queste capacità ci aiuterà anche a comprenderne le implicazioni per la sicurezza e la protezione biologica.