我们的使命是确保通用人工智能造福全人类。作为这一使命的一部分，我们希望帮助科学家加速生物学研究，从理解疾病到开发新的治疗方法。科学家每天在湿实验室中使用生物样本开展实验。AI 智能体要为他们提供帮助，就必须能够可靠地解读这些日常实验中的证据。日常湿实验室工作中，实验失败、图像含糊不清、观察结果相互矛盾都是常见情况。现有基准测试主要围绕为科学论文精选的图表和图像构建，可能无法涵盖这种不确定性，也无法考察应对这些情况所需的排查能力。为此，我们推出了 BioBasicsBench。这项新基准测试由我们与专注于酶设计的生物技术公司 Ligo 共同开发，用于衡量智能体处理日常湿实验室分析的能力。
该基准测试包含 100 个任务，考察智能体能否解读原始实验数据、识别错误，以及判断证据何时不足以支持结论。正确完成这些任务至关重要。误读图像，或忽视用于核查实验结果的对照所存在的问题，都可能让科学家得出错误结论，进而花时间进行无法帮助回答研究问题的实验。
在允许模型对每个任务进行更多推理的“极高”设置下，GPT‑6 Astra 的平均得分达到满分的 66.7%，而 GPT‑5.6 Sol 为 43.8%。结果表明，模型在日常实验室分析方面取得了进步，但在图像解读、对照核查和结合实验背景进行分析等方面仍有提升空间。
BioBasicsBench 使用原始实验证据，涵盖凝胶图像、菌落平板、显微图像和仪器读数。
BioBasicsBench 包含 100 个任务，覆盖日常湿实验室工作的五个领域：蛋白质实验方法、成像与细胞术、定量与检测、核酸实验方法，以及分子克隆。任务既包括从凝胶中读取 DNA 样本分子量这样的简单要求，也包括详细的检测分析，但都属于湿实验室科学家应能可靠完成的日常工作。
科学家利用自身实验的数据创建任务，并为每个问题配上专家编写的评分标准。每个任务都经过三轮审查：先由未参与该任务编写的 Ligo 科学家进行内部审查，再由具有博士水平、从事湿实验室研究的科学家进行外部审查，最后再进行一次内部审查。
智能体以结构化形式返回答案，给出要求的结论、测量值或建议，并在需要时提供支撑这些答案的推理。答案按评分细则中的各项标准分别计分，使基准测试能够区分正确结论与部分正确的分析。大多数任务同时考察多种能力，包括生物学知识、图像及其他数据的解读、错误识别和实验规程理解。
“不重复任务数”中每个任务仅计一次。各能力列统计带有相应能力标签的任务数量。这些类别存在重叠：一个任务可以出现在多列中，因此不能将各能力列的数量相加作为任务总数。颜色区分领域；颜色越深，表示该领域中测试相应能力的任务占比越高。
输入材料保留了科学家日常使用的证据形式：凝胶与印迹图像、平板照片、显微图像堆栈、测序读段、酶标仪导出数据，以及实验操作视频。一个任务可以包含多种类型的数据。分子量标准图、质粒图谱等参考表用于辅助解读实验证据。
数据类型 | 任务数 | 包含内容 |
|---|---|---|
凝胶与印迹 | 31 | DNA 琼脂糖凝胶、SDS-PAGE 凝胶、蛋白质免疫印迹 |
实验规程、笔记与规格 | 27 | 实验规程与标准操作规程、实验笔记与运行记录、手写笔记照片、产品目录、仪器规格、已发表的实验方法 |
表格与仪器导出数据 | 20 | CSV 和 Excel 导出文件、泳道布局与库存清单、原始流式细胞术（FCS）文件 |
实验台、设备与试剂照片 | 18 | 实验台、凝胶电泳装置、试剂管与培养管、PCR 板、试管架、pH 试纸、浓缩仪、冷冻柜、液体处理工作站台面 |
显微成像 | 14 | 原始明场与荧光图像、多通道图像集、Z 轴图像堆栈、延时视频 |
仪器屏幕与图表 | 13 | 流式细胞仪、显微镜、NanoDrop、酶标仪和天平的屏幕照片；导出的标准曲线、色谱图及其他图表 |
测序文件 | 12 | 原始长读长 FASTQ 文件、FASTA 序列、GenBank 图谱 |
实验操作视频 | 7 | 划线、接种、系列稀释、SDS-PAGE 电泳槽与培养箱设置、天平称量 |
琼脂平板与菌落 | 7 | 转化平板、蓝白斑筛选、抗生素纸片平板 |
参考表 | 21 | 分子量标准图、质粒图谱、pH 比色卡（辅助材料） |
包含各类数据的任务数量。类别之间存在重叠；参考表作为辅助材料。
科学家利用自身实验的数据编写任务，将实验证据与问题及专家编写的评分细则配套提供。每个任务都经过三轮审查：先由未参与该任务编写的 Ligo 科学家进行内部审查，再由具有博士水平、从事湿实验室研究的科学家进行外部审查，最后再进行一次内部审查。审查人员核查了提示词、实验证据、评分细则、作者备注，以及一次已评分的模型作答。
答案依据任务的评分细则计分，各项标准分别赋分。根据任务的不同，这些标准会评估结论、数值结果、支撑答案的推理，或是否认识到证据不足。
我们使用 BioBasicsBench 评估了七个模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna 和 GPT‑6 Astra。评估涵盖 37 种模型与推理强度组合，每种组合均对全部 100 个任务各尝试五次，共得到 18,500 个结果。
我们报告的指标是平均奖励，即任务的平均得分，以占满分的百分比表示。误差线表示 95% 置信区间，计算时以完整任务为单位进行重采样，并将每个任务的五次尝试保留在一起。
平均奖励与每个任务的平均输出 token 数之间的关系，采用对数刻度显示。每个点代表一种已测试的推理强度设置，连线按顺序连接各设置。横轴每增加一个刻度，数值翻倍。橙色虚线表示 GPT‑5 模型，蓝色实线表示 GPT‑6 模型。浅色误差线表示以完整任务为单位进行自助重采样得到的 95% 置信区间。每种设置均包含全部 100 个任务，每个任务尝试五次。不同模型的推理强度设置有所不同。
即使在低推理强度下，GPT‑6 Astra 的表现也比 GPT‑5.6 Sol 显著提升。这些进步表明，更强的原生多模态能力可能是提升日常湿实验室分析表现的关键。
极高推理强度下的表现
模型 | 平均奖励 | 95% 置信区间 | 每个任务的输出 token 数 |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
“极高”是七个模型均有报告结果的最高推理强度设置。每行均包含全部 100 个任务，每个任务尝试五次。对于提供了 Max 推理强度结果的模型，其结果已纳入上图。
科学研究中的一个常见误区是过度解读数据，尤其是在检验假设时容易产生偏差。Astra 更善于识别数据所能支持的结论边界，避免得出缺乏依据的结论。
在这个例子中，GPT‑5.6 Sol 根据一种用于检测死细胞的染料信号，将细胞判定为死亡。但检测器也可能接收到另一种染料发出的光，因此仅凭亮度不足以得出这一结论。Astra 识别到了这种不确定性，并提出需要更完善的对照来区分信号。
明场 · 透射光
通道 2 · SYTOX 标记 · 470–540 nm
通道 3 · FUN-1 绿色荧光 · 525–580 nm
三个通道中的相同细胞区域；检测窗口在 525–540 nm 范围内重叠。重叠窗口可能造成干扰，但干扰程度尚未测量。每个通道采用独立的线性强度标度显示，同一通道内两个区域的标度保持一致；不同通道之间的亮度不能进行定量比较。
科学研究具有很强的多模态特征，需要不断解读视觉信息并作出决策。Astra 在处理多模态数据方面有显著进步，这些数据包括照片和视频，以及测序、酶标仪检测、显微成像和流式细胞术的原始输出。
最直观的改进在于，GPT‑6 Astra 能从实验过程中拍摄的图像中捕捉到更细微的细节，从而得出更准确的结论，如这个例子所示。这个任务要求智能体根据一项 DNA 克隆实验得出结论，而对照在此类实验中至关重要。GPT‑5.6 Sol 看到阴性对照平板上没有菌落，便以此为依据得出了结论。GPT‑6 Astra 注意到平板上标注的抗生素不对，因此正确判断该平板不能作为可靠的对照。
原始照片
皿边标签
基准测试中的原始照片，皿边标签已圈出并放大。“LB Kan50”表示卡那霉素，与实验中使用的氨苄青霉素不同。
科学家在分析数据时，必须始终结合隐性生物学知识和实验背景，才能正确解读数据所揭示的信息。Astra 更善于记住这些背景信息，并在整个分析过程中加以运用。
一个任务展示了一系列显微图像，其中细胞时而清晰、时而失焦。GPT‑5.6 Sol 试图从生物学角度解释细胞为何看似消失，而 GPT‑6 Astra 则正确识别出这是 Z 轴图像堆栈，即在不同深度拍摄的一系列图像。
0 秒
3 秒
6 秒
9 秒
12 秒
15 秒
原始录像中的六帧画面。显微镜沿深度方向扫描时，虚线框始终标示同一位置。时间指所提供视频中的播放位置。
基准测试得分提高，尚不意味着模型能够在实验室中作出可靠判断。以下 Astra 的例子展示了假设、预期答案和给定标签如何压过实验证据，也展示了分析过程中正确的观察为何未能指导最终决策。
Astra 让一个熟悉的假设凌驾于实验对照所支持的解释之上。它能够区分两组菌落的条带，却假定较大的 PCR 产物意味着克隆成功。基于这一假设，它推荐泳道 4、6、7 和 8；而参考答案通过与对照比较，选择的是泳道 5、9 和 10。
参考答案选择菌落 5、9 和 10；Astra 则选择 4、6、7 和 8。
1：分子量标准 · 2：克隆混合物 · 3：原始质粒 · 4–10：菌落样本
解读对照
泳道 3 仅包含原始质粒的 PCR 产物。其条带提供了旧质粒的参考位置。
根据参考答案的解读，泳道 2 包含两种条带模式：组装不完全使旧模板或骨架与新产物同时存在。
因此，形成的菌落可能携带旧质粒，也可能携带新质粒。应将这些菌落的条带与上述参考条带模式进行比较。
参考答案选择：5、9 和 10
Astra 的选择：4、6、7 和 8。Astra 推荐这一组，认为较大的 PCR 产物代表目标构建体。
按图像特征分组本身是正确的，但它赋予这两组的实验身份与参考答案恰好相反。因此，Astra 根据菌落 PCR 结果选错了菌落，这会导致后续纯化得到错误的质粒。
Astra 忽视了与自身倾向的解释相矛盾的观察结果。它得出结论，认为液泡这种细胞内部区室通常比周围的细胞区域更暗，尽管同一图像中有些液泡看起来更亮。两种现象都很重要：改变显微镜焦点可能使明暗对比反转，因此较暗的例子并不能确立普遍规律。
较暗形态
较亮形态
Astra 将液泡概括为较暗，忽略了同一视野中可见的较亮液泡。
这一答案遗漏了什么
部分细胞的明暗对比恰好相反。这两种现象都会出现，因为不同的焦平面深度可能使明暗对比反转。
Astra 检查了多个区域，甚至指出对比度会随焦点变化。但随后，它更看重那些被它认为对焦更清晰的细胞，并在最终答案中只保留了这些细胞的液泡较暗这一描述。它虽然检查了与这一判断矛盾的较亮区域，却未在结论中考虑这些观察。
Astra 的计数标记无法可靠地与单个菌落对应：它无法分辨距离很近的相邻菌落，会漏掉可见菌落，还会标记空白琼脂区域。最终，这块平板的计数结果比基准测试的参考值高出约 12%。
原图
Astra 的计数标记
原图
Astra 的计数标记
原图
Astra 的计数标记
A：相邻菌落之间只有一个计数标记。B：两个可见菌落未被标记。C：空白琼脂区域被误计为菌落。红圈表示 Astra 的计数位置。黑色箭头是编辑添加的指示标记。
菌落计数不准确，会直接影响对 DNA 导入细胞效率的估算。当涂板体积和稀释倍数固定时，多计的菌落会使估算效率按相同比例偏高。
要加速生物学研究，必须先把日常工作做好。BioBasicsBench 将这些工作确立为改进目标：解读原始实验数据、核查对照，以及识别缺乏证据支持的结论。这些任务上的进步，有望帮助科学家减少排查问题所花的时间，把更多精力用于决定下一步开展哪些实验。持续跟踪这些能力，也将帮助我们理解它们对生物安全与生物安保的影响。
