Messen, wie KI-Agenten den Forschungsalltag im Nasslabor bewältigen

Unsere Mission ist es, sicherzustellen, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugutekommt. Dazu gehört, Forschende dabei zu unterstützen, die biologische Forschung zu beschleunigen: vom Verständnis von Krankheiten bis zur Entwicklung neuer Behandlungen. Damit KI-Agenten dazu beitragen können, müssen sie experimentelle Befunde zuverlässig interpretieren. Mit solchen Befunden arbeiten Forschende täglich in Nasslaboren, wo sie Experimente mit biologischen Proben durchführen. Zum Alltag im Nasslabor gehören fehlgeschlagene Experimente, mehrdeutige Bilder und widersprüchliche Beobachtungen. Bestehende Benchmarks basieren auf Diagrammen und Bildern, die für wissenschaftliche Veröffentlichungen ausgewählt wurden. Dadurch erfassen sie diese Mehrdeutigkeit und die nötige Fehlersuche möglicherweise nicht. Deshalb stellen wir BioBasicsBench vor: einen neuen Benchmark, den wir gemeinsam mit Ligo entwickelt haben, einem auf Enzymdesign spezialisierten Biotechnologieunternehmen. Er misst, wie gut Agenten mit Routineanalysen im Nasslabor umgehen.

Die 100 Aufgaben des Benchmarks prüfen, ob Agenten experimentelle Rohdaten interpretieren, Fehler identifizieren und erkennen können, wann die Befunde eine Schlussfolgerung nicht stützen. Diese Aufgaben richtig zu lösen, ist wichtig: Wer ein Bild falsch interpretiert oder ein Problem mit den Kontrollen zur Überprüfung der Versuchsergebnisse übersieht, kann falsche Schlüsse ziehen. Forschende investieren dann womöglich Zeit in Experimente, die ihre Frage nicht beantworten helfen.

Mit der Einstellung „xhigh“, die mehr Reasoning pro Aufgabe ermöglicht, erreichte GPT‑6 Astra im Durchschnitt 66,7 % der möglichen Punkte, gegenüber 43,8 % bei GPT‑5.6 Sol. Die Ergebnisse zeigen Fortschritte bei Routineanalysen im Labor. Weiteres Verbesserungspotenzial besteht bei der Bildinterpretation, der Prüfung von Kontrollen und der Berücksichtigung des experimentellen Kontexts.

BioBasicsBench nutzt experimentelle Rohdaten, von Gelbildern und Kolonieplatten bis hin zu Mikroskopieaufnahmen und Gerätemesswerten.

BioBasicsBench umfasst 100 Aufgaben aus fünf Bereichen der Routinearbeit im Nasslabor: Proteinmethoden, Bildgebung und Zytometrie, Quantifizierung und Assays, Nukleinsäuremethoden sowie molekulare Klonierung. Die Aufgaben reichen von einfachen Fragen, etwa dem Ablesen des Molekulargewichts einer DNA-Probe in einem Gel, bis zur detaillierten Assay-Analyse. Alle betreffen jedoch Routinearbeiten, die Forschende im Nasslabor zuverlässig erledigen können sollten.

Forschende erstellten die Aufgaben mit Daten aus ihren eigenen Experimenten. Jede Frage wurde mit fachlich erarbeiteten Bewertungskriterien verknüpft. Jede Aufgabe wurde zunächst intern von einer anderen wissenschaftlichen Fachkraft bei Ligo geprüft. Es folgten eine externe Prüfung durch eine promovierte, im Nasslabor tätige Fachkraft und eine abschließende interne Prüfung.

Agenten geben eine strukturierte Antwort mit der angeforderten Schlussfolgerung, Messung oder Empfehlung zurück und liefern, falls verlangt, eine Begründung. Antworten erhalten Punkte für einzelne Kriterien des Bewertungsrasters. So kann der Benchmark zwischen einer richtigen Schlussfolgerung und einer teilweise richtigen Analyse unterscheiden. Die meisten Aufgaben prüfen mehrere Fähigkeiten zugleich, darunter biologisches Wissen, die Interpretation von Bildern und anderen Daten, Fehlererkennung und das Verständnis von Versuchsprotokollen.

Die Eingaben behalten die Formen bei, mit denen Forschende arbeiten: Gel- und Blotbilder, Plattenfotos, Mikroskopie-Bildstapel, Sequenzierungsreads, Exporte von Plattenlesegeräten und Videos von Laborarbeiten. Eine Aufgabe kann mehrere Datenarten enthalten. Referenzblätter wie Größenmarker-Übersichten und Plasmidkarten unterstützen die Interpretation der experimentellen Befunde.

Forschende verfassten die Aufgaben anhand von Daten aus ihren eigenen Experimenten. Sie verknüpften die experimentellen Befunde mit einer Frage und einem fachlich erarbeiteten Bewertungsraster. Jede Aufgabe wurde zunächst intern von einer anderen wissenschaftlichen Fachkraft bei Ligo geprüft. Es folgten eine externe Prüfung durch eine promovierte, im Nasslabor tätige Fachkraft und eine abschließende interne Prüfung. Die Prüfenden kontrollierten den Prompt, die experimentellen Befunde, das Bewertungsraster, die Notizen zur Aufgabenerstellung und einen bewerteten Lösungsversuch eines Modells.

Antworten werden anhand des Bewertungsrasters der Aufgabe bewertet, das einzelnen Kriterien Punkte zuweist. Je nach Aufgabe bewerten diese Kriterien die Schlussfolgerung, numerische Ergebnisse, die Begründung oder die Erkenntnis, dass die Befunde nicht ausreichen.

Wir haben sieben Modelle mit BioBasicsBench evaluiert: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna und GPT‑6 Astra. Die Evaluierung umfasst 37 Kombinationen aus Modell und Reasoning-Aufwand. Bei jeder Kombination gab es fünf Versuche pro Aufgabe, bei 100 Aufgaben, insgesamt also 18.500 Ergebnisse.

Wir geben den mittlere Reward an: die durchschnittliche Aufgabenpunktzahl, ausgedrückt als Prozentsatz der erreichbaren Punkte. Die Fehlerbalken zeigen 95-%-Konfidenzintervalle, die durch erneute Stichprobenziehung ganzer Aufgaben berechnet wurden. Dabei bleiben die fünf Versuche jeder Aufgabe zusammen.

GPT‑6 Astra übertrifft GPT‑5.6 Sol deutlich, selbst bei geringem Reasoning-Aufwand. Diese Fortschritte deuten darauf hin, dass stärkere native multimodale Fähigkeiten entscheidend sein könnten, um die Leistung bei alltäglichen Analysen im Nasslabor zu verbessern.

Ein häufiger Fehler in der Wissenschaft ist, Daten überzuinterpretieren. Dazu tragen insbesondere die Verzerrungen bei, die beim Prüfen einer Hypothese entstehen können. Astra konnte besser erkennen, wo die Aussagekraft der Daten endet, und unbegründete Schlussfolgerungen vermeiden.

In diesem Beispiel stufte GPT‑5.6 Sol Zellen aufgrund des Signals eines Farbstoffs zum Nachweis toter Zellen als tot ein. Der Detektor konnte jedoch auch Licht eines zweiten Farbstoffs erfassen. Die Helligkeit allein reichte daher nicht aus, um diese Schlussfolgerung zu begründen. Astra erkannte diese Mehrdeutigkeit und forderte bessere Kontrollen, um die Signale zu trennen.

Wissenschaftliche Forschung ist stark multimodal geprägt und erfordert ständig visuelle Interpretation und Entscheidungen. Astra zeigte deutliche Verbesserungen im Umgang mit multimodalen Daten: Fotos und Videos sowie Rohdaten aus Sequenzierung, Plattenleser-Assays, Mikroskopie und Durchflusszytometrie.

Schon auf grundlegender Ebene war diese Verbesserung erkennbar: GPT‑6 Astra konnte feinere Details in Bildern aus Experimenten erkennen und dadurch präzisere Schlüsse ziehen, wie dieses Beispiel zeigt. Bei dieser Aufgabe sollten Agenten Schlussfolgerungen aus einem DNA-Klonierungsexperiment ziehen, bei dem Kontrollen unverzichtbar sind. GPT‑5.6 Sol sah keine Kolonien auf der Negativkontrollplatte und stützte seine Schlussfolgerungen auf diese Beobachtung. GPT‑6 Astra bemerkte, dass die Platte mit dem falschen Antibiotikum beschriftet war, und verwarf sie zu Recht als unzuverlässige Kontrolle.

Forschende müssen bei der Datenanalyse implizites biologisches Wissen und den experimentellen Kontext berücksichtigen, um die Daten richtig zu interpretieren. Astra konnte diesen Kontext besser im Blick behalten und während der gesamten Analyse berücksichtigen.

Eine Aufgabe zeigte eine Reihe von Mikroskopiebildern, in denen Zellen abwechselnd in der Fokusebene lagen und aus ihr verschwanden. Während GPT‑5.6 Sol nach einer biologischen Erklärung für das scheinbare Verschwinden der Zellen suchte, erkannte GPT‑6 Astra korrekt einen Z-Stapel: eine Bildserie, die in unterschiedlichen Tiefen aufgenommen wurde.

Höhere Benchmark-Werte bedeuten noch nicht, dass Modelle im Labor zuverlässig urteilen können. Diese Beispiele von Astra zeigen, wie Annahmen, erwartete Antworten und vorgegebene Beschriftungen die Befunde überlagern können. Sie zeigen auch, dass selbst eine richtige Zwischenbeobachtung nicht immer die endgültige Entscheidung bestimmt.

Astra gewichtet eine vertraute Annahme höher als die Interpretation, die durch die experimentellen Kontrollen gestützt wird. Es kann die beiden Gruppen von Koloniebanden unterscheiden, nimmt aber an, dass ein größeres PCR-Produkt eine erfolgreiche Klonierung anzeigt. Unter dieser Annahme schlägt es die Spuren 4, 6, 7 und 8 vor. Der Kontrollvergleich in der Referenz wählt dagegen die Spuren 5, 9 und 10.

Astra wertet Beobachtungen ab, die seiner bevorzugten Interpretation widersprechen. Es kommt zu dem Schluss, dass Vakuolen, abgegrenzte Räume innerhalb von Zellen, grundsätzlich dunkler sind als die umgebende Zelle, obwohl einige im selben Bild heller erscheinen. Beide Erscheinungsformen sind relevant: Eine Änderung des Mikroskopfokus kann den Kontrast umkehren. Die dunkleren Beispiele begründen daher keine allgemeine Regel.

Die Zählmarkierungen von Astra entsprechen nicht zuverlässig einzelnen Kolonien: Es trennt eng benachbarte Kolonien nicht, übersieht sichtbare Kolonien und markiert unbewachsenen Agar. Insgesamt ergibt sich für diese Platte eine um etwa 12 % zu hohe Zählung gegenüber der Benchmark-Referenz.

Eine ungenaue Koloniezählung wirkt sich direkt auf die Schätzung aus, wie effizient DNA in Zellen eingebracht wurde. Bei gleichbleibendem ausplattiertem Volumen und gleicher Verdünnung erhöht eine zu hohe Zählung diese Schätzung im selben Verhältnis.

Um biologische Forschung zu beschleunigen, muss die tägliche Arbeit zuverlässig gelingen. BioBasicsBench macht diese Arbeit zum Ziel weiterer Verbesserungen: experimentelle Rohdaten interpretieren, Kontrollen prüfen und erkennen, wann eine Schlussfolgerung nicht durch die Befunde gestützt wird. Fortschritte bei diesen Aufgaben könnten Forschenden helfen, weniger Zeit mit der Fehlersuche zu verbringen. So bliebe mehr Zeit für die Entscheidung, welche Experimente als Nächstes sinnvoll sind. Die Entwicklung dieser Fähigkeiten zu verfolgen, wird uns auch helfen, ihre Bedeutung für den Schutz vor biologischen Unfällen und vor dem Missbrauch biologischer Materialien und Kenntnisse zu verstehen.