Evaluar cómo los agentes de IA realizan el trabajo cotidiano de laboratorio

Nuestra misión es garantizar que la inteligencia artificial general beneficie a toda la humanidad. Como parte de esa misión, queremos ayudar a los científicos a acelerar la investigación biológica, desde comprender las enfermedades hasta desarrollar nuevos tratamientos. Para que los agentes de IA puedan contribuir, necesitan interpretar de forma confiable la evidencia experimental con la que los científicos trabajan a diario en los laboratorios, donde realizan experimentos con muestras biológicas. El trabajo cotidiano en un laboratorio experimental incluye experimentos fallidos, imágenes ambiguas y observaciones contradictorias. Las evaluaciones existentes se basan en gráficos e imágenes seleccionados para artículos científicos, por lo que pueden pasar por alto esta ambigüedad y las dificultades que implica identificar y resolver los problemas que surgen durante los experimentos. Por eso presentamos BioBasicsBench, una nueva evaluación desarrollada con Ligo, una empresa de biotecnología enfocada en el diseño de enzimas, para medir qué tan bien realizan los agentes los análisis rutinarios de laboratorio experimental.

Las 100 tareas de la evaluación ponen a prueba si los agentes pueden interpretar datos experimentales sin procesar, identificar errores y reconocer cuándo la evidencia no permite sustentar una conclusión. Resolver bien estas tareas es importante: interpretar mal una imagen o pasar por alto un problema con los controles utilizados para verificar los resultados de un experimento puede llevar a los científicos a extraer conclusiones erróneas y dedicar tiempo a experimentos que no ayudarán a responder su pregunta.

Con la configuración “xhigh”, que permite más razonamiento por tarea, GPT‑6 Astra obtuvo en promedio el 66,7 % de los puntos disponibles, frente al 43,8 % de GPT‑5.6 Sol. Los resultados muestran avances en los análisis rutinarios de laboratorio, con margen para seguir mejorando la interpretación de imágenes, la verificación de controles y la aplicación del contexto experimental.

BioBasicsBench utiliza evidencia experimental sin procesar, desde imágenes de geles y placas con colonias hasta imágenes de microscopía y lecturas de instrumentos.

BioBasicsBench contiene 100 tareas de cinco áreas del trabajo rutinario de laboratorio experimental: métodos de análisis de proteínas, obtención de imágenes y citometría, cuantificación y ensayos, métodos de análisis de ácidos nucleicos y clonación molecular. Las tareas van desde solicitudes sencillas, como leer el peso molecular de una muestra de ADN en un gel, hasta el análisis detallado de ensayos, pero todas corresponden a trabajo rutinario que los científicos de laboratorio deberían poder realizar de forma confiable.

Los científicos crearon las tareas con datos de sus propios experimentos y acompañaron cada pregunta con criterios de calificación redactados por expertos. Cada tarea pasó por una revisión interna a cargo de un científico de Ligo que no había participado en su redacción, una revisión externa a cargo de un científico con doctorado que trabaja en un laboratorio experimental y una revisión interna final.

Los agentes devuelven una respuesta estructurada con la conclusión, medición o recomendación solicitada y, cuando se requiere, el razonamiento que la sustenta. Las respuestas reciben puntos según los criterios individuales de la rúbrica, lo que permite a la evaluación distinguir una conclusión correcta de un análisis parcialmente correcto. La mayoría de las tareas evalúan varias habilidades en conjunto, entre ellas el conocimiento biológico, la interpretación de imágenes y otros datos, la detección de errores y la comprensión de protocolos.

Los datos de entrada conservan los formatos de evidencia con los que trabajan los científicos: imágenes de geles y blots, fotografías de placas, pilas de imágenes de microscopía, lecturas de secuenciación, datos exportados de lectores de placas y videos del trabajo en la mesa de laboratorio. Una tarea puede incluir varios tipos de datos. Las hojas de referencia, como los diagramas de marcadores de peso molecular y los mapas de plásmidos, ayudan a interpretar la evidencia experimental.

Los científicos redactaron las tareas con datos de sus propios experimentos y acompañaron la evidencia experimental con una pregunta y una rúbrica de calificación elaborada por expertos. Cada tarea pasó por una revisión interna a cargo de un científico de Ligo que no había participado en su redacción, una revisión externa a cargo de un científico con doctorado que trabaja en un laboratorio experimental y una revisión interna final. Los revisores comprobaron el prompt, la evidencia experimental, la rúbrica, las notas del autor y un intento calificado del modelo.

Las respuestas se califican según la rúbrica de la tarea, que asigna puntos a criterios individuales. Según la tarea, estos criterios evalúan la conclusión, los resultados numéricos, el razonamiento que sustenta la respuesta o el reconocimiento de que la evidencia es insuficiente.

Evaluamos siete modelos en BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna y GPT‑6 Astra. La evaluación abarca 37 combinaciones de modelo y nivel de esfuerzo de razonamiento, con cinco intentos en cada una de las 100 tareas por configuración, para un total de 18 500 resultados.

Presentamos la recompensa media: la puntuación promedio por tarea, expresada como porcentaje de los puntos disponibles. Las barras de error muestran intervalos de confianza del 95 % calculados mediante remuestreo de tareas completas, manteniendo juntos los cinco intentos de cada tarea.

GPT‑6 Astra supera ampliamente a GPT‑5.6 Sol, incluso con un esfuerzo de razonamiento bajo. Estos avances sugieren que unas capacidades multimodales nativas más sólidas podrían ser clave para mejorar el desempeño en los análisis cotidianos de laboratorio experimental.

Un error común en la ciencia es sobreinterpretar los datos, especialmente por los sesgos que surgen al poner a prueba una hipótesis. Astra demostró una mayor capacidad para discernir los límites de lo que muestran los datos y evitar conclusiones sin fundamento.

En este ejemplo, GPT‑5.6 Sol clasificó algunas células como muertas basándose en la señal de un colorante utilizado para detectar células muertas. Pero el detector también podía captar luz de un segundo colorante, por lo que el brillo por sí solo no justificaba esa conclusión. Astra reconoció esta ambigüedad y señaló la necesidad de mejores controles para separar las señales.

La investigación científica es altamente multimodal y exige una interpretación visual y una toma de decisiones constantes. Astra mostró una mejora significativa en el manejo de datos multimodales presentados como fotos y videos, así como de resultados sin procesar de secuenciación, ensayos con lectores de placas, microscopía y citometría de flujo.

En el nivel más básico, esta mejora se notó en la capacidad de GPT‑6 Astra para detectar detalles más sutiles en imágenes tomadas durante los experimentos y, por tanto, extraer conclusiones más precisas, como muestra este ejemplo. Esta tarea pedía a los agentes extraer conclusiones de un experimento de clonación de ADN, en el que los controles son esenciales. GPT‑5.6 Sol no vio colonias en la placa de control negativo y basó sus conclusiones en esa observación. GPT‑6 Astra advirtió que la etiqueta de la placa indicaba el antibiótico incorrecto y determinó acertadamente que la placa no era un control confiable.

Al analizar datos, los científicos deben tener presentes el conocimiento biológico tácito y el contexto experimental para interpretar correctamente lo que muestran. Astra demostró una mayor capacidad para mantener ese contexto y aplicarlo a lo largo de su análisis.

Una tarea mostraba células que aparecían enfocadas y desenfocadas en una serie de imágenes de microscopía. Mientras GPT‑5.6 Sol buscaba una explicación biológica para la aparente desaparición de las células, GPT‑6 Astra reconoció correctamente una pila de imágenes en Z: una serie de imágenes tomadas a distintas profundidades.

Obtener puntuaciones más altas en las evaluaciones aún no significa que los modelos puedan emitir juicios confiables en el laboratorio. Estos ejemplos de Astra muestran cómo las suposiciones, las respuestas esperadas y las etiquetas proporcionadas pueden prevalecer sobre la evidencia, y cómo una observación intermedia correcta puede no orientar la decisión final.

Astra deja que una suposición habitual prevalezca sobre la interpretación respaldada por los controles experimentales. Puede distinguir los dos grupos de bandas de las colonias, pero supone que un producto de PCR de mayor tamaño indicaría una clonación exitosa. Bajo ese supuesto, propone los carriles 4, 6, 7 y 8; en cambio, la comparación con los controles en la respuesta de referencia selecciona los carriles 5, 9 y 10.

Astra resta valor a las observaciones que contradicen su interpretación preferida. Concluye que las vacuolas, compartimentos dentro de las células, suelen ser más oscuras que el resto de la célula, aunque algunas se ven más claras en la misma imagen. Ambas apariencias importan: cambiar el enfoque del microscopio puede invertir el contraste, por lo que los ejemplos más oscuros no permiten establecer una regla general.

Las marcas de conteo de Astra no corresponden de forma confiable a colonias individuales: no distingue colonias muy próximas entre sí, omite colonias visibles y marca zonas de agar sin colonias. El resultado neto en esta placa es un conteo aproximadamente un 12 % superior al de referencia de la evaluación.

Un conteo inexacto de colonias afecta directamente las estimaciones de la eficiencia con la que se introdujo ADN en las células. Si el volumen sembrado y la dilución se mantienen fijos, un conteo excesivo infla esa estimación en la misma proporción.

Acelerar la investigación biológica exige hacer bien el trabajo cotidiano. BioBasicsBench convierte ese trabajo en un objetivo de mejora: interpretar datos experimentales sin procesar, verificar controles y reconocer cuándo una conclusión carece de respaldo. Avanzar en estas tareas podría ayudar a los científicos a dedicar menos tiempo a resolver problemas y más a decidir qué experimentos realizar después. Dar seguimiento a estas capacidades también nos ayudará a comprender sus implicaciones para la bioseguridad y la bioprotección.