Evaluar cómo afrontan los agentes de IA el trabajo cotidiano de laboratorio

Nuestra misión es garantizar que la inteligencia artificial general beneficie a toda la humanidad. Como parte de esa misión, queremos ayudar a los científicos a acelerar la investigación biológica, desde comprender las enfermedades hasta desarrollar nuevos tratamientos. Para que los agentes de IA puedan contribuir, deben interpretar de forma fiable las pruebas experimentales con las que los científicos trabajan a diario en laboratorios donde realizan experimentos con muestras biológicas. El trabajo cotidiano en estos laboratorios incluye experimentos fallidos, imágenes ambiguas y observaciones contradictorias. Las evaluaciones existentes se basan en gráficos e imágenes seleccionados para artículos científicos y pueden pasar por alto esta ambigüedad y la resolución de problemas que exige. Por eso presentamos BioBasicsBench, una nueva evaluación desarrollada con Ligo, una empresa de biotecnología centrada en el diseño de enzimas, para medir cómo se desenvuelven los agentes en los análisis rutinarios de laboratorio experimental.

Las 100 tareas de la evaluación comprueban si los agentes pueden interpretar datos experimentales brutos, identificar errores y reconocer cuándo las pruebas no permiten sostener una conclusión. Resolver bien estas tareas es importante porque interpretar mal una imagen o pasar por alto un problema con los controles utilizados para verificar los resultados de un experimento puede llevar a los científicos a extraer conclusiones erróneas y dedicar tiempo a experimentos que no ayudarán a responder a su pregunta.

Con la configuración «xhigh», que permite un mayor razonamiento por tarea, GPT‑6 Astra obtuvo una media del 66,7 % de los puntos disponibles, frente al 43,8 % de GPT‑5.6 Sol. Los resultados muestran avances en el análisis rutinario de laboratorio, aunque queda margen para mejorar la interpretación de imágenes, la comprobación de controles y la aplicación del contexto experimental.

BioBasicsBench utiliza pruebas experimentales sin procesar, desde imágenes de geles y placas con colonias hasta imágenes de microscopía y lecturas de instrumentos.

BioBasicsBench incluye 100 tareas repartidas en cinco áreas del trabajo rutinario de laboratorio experimental: métodos para proteínas, técnicas de imagen y citometría, cuantificación y ensayos, métodos para ácidos nucleicos y clonación molecular. Las tareas van desde peticiones sencillas, como determinar el peso molecular de una muestra de ADN en un gel, hasta el análisis detallado de ensayos, pero todas corresponden a trabajo rutinario que los científicos de laboratorio deberían poder realizar de forma fiable.

Los científicos crearon las tareas con datos de sus propios experimentos y asociaron cada pregunta a criterios de puntuación redactados por expertos. Cada tarea pasó por una revisión interna a cargo de un científico de Ligo que no la había redactado, una revisión externa a cargo de un científico con doctorado que trabaja en un laboratorio experimental y una revisión interna final.

Los agentes devuelven una respuesta estructurada con la conclusión, medición o recomendación solicitada y, cuando se requiere, el razonamiento que la sustenta. Las respuestas reciben puntos según los criterios individuales de la rúbrica, lo que permite a la evaluación distinguir una conclusión correcta de un análisis parcialmente correcto. La mayoría de las tareas evalúan varias habilidades a la vez, como los conocimientos biológicos, la interpretación de imágenes y otros datos, la detección de errores y la comprensión de protocolos.

Los datos de entrada conservan los formatos de las pruebas con las que trabajan los científicos: imágenes de geles y blots, fotografías de placas, pilas de imágenes de microscopía, lecturas de secuenciación, datos exportados de lectores de placas y vídeos de trabajo de laboratorio. Una tarea puede incluir varios tipos de datos. Las fichas de referencia, como los esquemas de marcadores de peso molecular y los mapas de plásmidos, ayudan a interpretar las pruebas experimentales.

Los científicos redactaron las tareas con datos de sus propios experimentos, combinando las pruebas experimentales con una pregunta y una rúbrica de puntuación elaborada por expertos. Cada tarea pasó por una revisión interna a cargo de un científico de Ligo que no la había redactado, una revisión externa a cargo de un científico con doctorado que trabaja en un laboratorio experimental y una revisión interna final. Los revisores comprobaron el prompt, las pruebas experimentales, la rúbrica, las notas del autor y un intento del modelo ya puntuado.

Las respuestas se puntúan según la rúbrica de la tarea, que asigna puntos a criterios individuales. Según la tarea, estos criterios evalúan la conclusión, los resultados numéricos, el razonamiento que los sustenta o el reconocimiento de que las pruebas son insuficientes.

Evaluamos siete modelos en BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna y GPT‑6 Astra. La evaluación abarca 37 combinaciones de modelo y nivel de esfuerzo de razonamiento, con cinco intentos en cada una de las 100 tareas por configuración, lo que suma un total de 18 500 resultados.

Presentamos la recompensa media: la puntuación media de las tareas, expresada como porcentaje de los puntos disponibles. Las barras de error muestran intervalos de confianza del 95 %, calculados mediante el remuestreo de tareas completas, manteniendo juntos los cinco intentos de cada tarea.

GPT‑6 Astra supera considerablemente a GPT‑5.6 Sol, incluso con un esfuerzo de razonamiento bajo. Estas mejoras sugieren que unas capacidades multimodales nativas más sólidas pueden ser clave para mejorar el rendimiento en los análisis cotidianos de laboratorio experimental.

Un error habitual en ciencia es sobreinterpretar los datos, especialmente por el tipo de sesgo que surge al poner a prueba una hipótesis. Astra demostró una mayor capacidad para discernir los límites de lo que muestran los datos y evitar conclusiones injustificadas.

En este ejemplo, GPT‑5.6 Sol clasificó unas células como muertas basándose en la señal de un colorante utilizado para detectar células muertas. Sin embargo, el detector también podía captar luz de un segundo colorante, por lo que el brillo por sí solo no justificaba esa conclusión. Astra reconoció esta ambigüedad y pidió mejores controles para separar las señales.

La investigación científica es muy multimodal y exige interpretar imágenes y tomar decisiones constantemente. Astra mostró una mejora significativa en el manejo de datos multimodales presentados como fotos y vídeos, así como de datos brutos de secuenciación, ensayos con lectores de placas, microscopía y citometría de flujo.

En el nivel más básico, esta mejora se apreciaba en la capacidad de GPT‑6 Astra para captar detalles más sutiles en las imágenes tomadas durante los experimentos y, por tanto, extraer conclusiones más precisas, como muestra este ejemplo. Esta tarea pedía a los agentes que extrajeran conclusiones de un experimento de clonación de ADN, en el que los controles son esenciales. GPT‑5.6 Sol no observó colonias en la placa de control negativo y basó sus conclusiones en esa observación. GPT‑6 Astra detectó que la placa estaba etiquetada con el antibiótico equivocado y, acertadamente, la descartó como control fiable.

Al analizar datos, los científicos deben tener presentes tanto los conocimientos biológicos tácitos como el contexto experimental para interpretar correctamente lo que muestran. Astra demostró una mayor capacidad para mantener presente este contexto y aplicarlo a lo largo del análisis.

Una tarea mostraba células que aparecían enfocadas y desenfocadas en una serie de imágenes de microscopía. Mientras GPT‑5.6 Sol buscaba una explicación biológica para la aparente desaparición de las células, GPT‑6 Astra identificó correctamente una pila de imágenes en Z: una serie de imágenes tomadas a distintas profundidades.

Obtener puntuaciones más altas en las evaluaciones aún no significa que los modelos puedan emitir juicios fiables en el laboratorio. Estos ejemplos de Astra muestran cómo las suposiciones, las respuestas esperadas y las etiquetas proporcionadas pueden prevalecer sobre las pruebas, y cómo una observación intermedia correcta puede no orientar la decisión final.

Astra deja que una suposición habitual prevalezca sobre la interpretación respaldada por los controles experimentales. Puede distinguir los dos grupos de bandas de las colonias, pero supone que un producto de PCR de mayor tamaño indicaría una clonación correcta. Partiendo de esa suposición, propone los carriles 4, 6, 7 y 8; en cambio, la comparación con los controles de la respuesta de referencia selecciona los carriles 5, 9 y 10.

Astra resta valor a las observaciones que contradicen su interpretación preferida. Concluye que las vacuolas, compartimentos del interior de las células, suelen ser más oscuras que el resto de la célula, aunque algunas se ven más claras en la misma imagen. Ambas apariencias importan: cambiar el enfoque del microscopio puede invertir el contraste, por lo que los ejemplos más oscuros no permiten establecer una regla general.

Las marcas de recuento de Astra no se corresponden de forma fiable con colonias individuales: no distingue colonias muy próximas, pasa por alto colonias visibles y marca agar sin colonias. El resultado neto en esta placa es un recuento aproximadamente un 12 % superior al de referencia de la evaluación.

Un recuento inexacto de colonias afecta directamente a las estimaciones de la eficiencia con la que se introdujo el ADN en las células. Si el volumen sembrado y la dilución se mantienen constantes, un recuento excesivo infla esa estimación en la misma proporción.

Acelerar la investigación biológica exige hacer bien el trabajo cotidiano. BioBasicsBench convierte ese trabajo en un objetivo de mejora: interpretar datos experimentales brutos, comprobar los controles y reconocer cuándo una conclusión carece de respaldo. Los avances en estas tareas podrían ayudar a los científicos a dedicar menos tiempo a resolver problemas y más a decidir qué experimentos realizar a continuación. El seguimiento de estas capacidades también nos ayudará a comprender sus implicaciones para la bioseguridad y la bioprotección.