我們的使命是確保通用人工智能造福全人類。為實踐這項使命，我們希望協助科學家加快生物學研究，從了解疾病到開發新療法。AI 智能代理要在其中發揮作用，就必須可靠地解讀科學家每天在濕實驗室中處理的實驗證據；科學家正是在這些實驗室內以生物樣本進行實驗。濕實驗室的日常工作，難免會遇上實驗失敗、難以判讀的影像，以及互相矛盾的觀察結果。現有基準測試主要使用為科學論文挑選的圖表和影像，可能無法涵蓋這些不確定情況，以及處理這些情況所需的排查能力。因此，我們推出 BioBasicsBench。這項新基準測試由我們與專注於酵素設計的生物科技公司 Ligo 共同開發，用於衡量智能代理處理日常濕實驗室分析的能力。
基準測試包含 100 項任務，測試智能代理能否解讀原始實驗數據、識別錯誤，以及判斷證據何時不足以支持結論。準確完成這些任務十分重要。誤讀影像，或忽略用於核實實驗結果的對照存在問題，都可能令科學家得出錯誤結論，並花時間進行無助於解答研究問題的實驗。
在容許每項任務進行更多推理的「xhigh」設定下，GPT‑6 Astra 的平均得分為可得總分的 66.7%，GPT‑5.6 Sol 則為 43.8%。結果顯示，模型在日常實驗室分析方面已有進步，但在影像解讀、對照檢查及實驗背景的運用方面，仍有改善空間。
BioBasicsBench 使用原始實驗證據，涵蓋凝膠影像、菌落培養皿、顯微影像及儀器讀數。
BioBasicsBench 設有 100 項任務，涵蓋日常濕實驗室工作的五個範疇：蛋白質實驗方法、成像與細胞分析、定量與測定、核酸實驗方法，以及分子克隆。任務從簡單要求到詳細的測定分析都有，例如讀取凝膠中 DNA 樣本的分子量；但所有任務都屬於濕實驗室科學家應能可靠完成的日常工作。
科學家使用自身實驗的數據設計任務，並為每道問題配上由專家撰寫的評分標準。每項任務都先由一位未參與撰寫的 Ligo 科學家進行內部審核，再由一位在濕實驗室工作的博士級科學家進行外部審核，最後再作一次內部審核。
智能代理會以結構化格式回答，提供所要求的結論、測量結果或建議，並按需要附上支持答案的推理。答案按評分準則的各項標準獲得分數，讓基準測試能夠區分正確結論與僅部分正確的分析。大部分任務會同時測試多種技能，包括生物學知識、影像及其他數據的解讀、錯誤識別，以及對實驗流程的理解。
「不重複任務數」對每項任務只計算一次。技能欄則計算帶有各項技能標籤的任務數量。這些類別有所重疊：一項任務可出現在多個欄位，因此不應將各項技能的數量相加以計算任務總數。顏色代表領域；色調越深，表示該領域中測試該項技能的任務比例越高。
輸入資料保留了科學家日常處理證據時使用的形式：凝膠與轉漬影像、培養皿照片、顯微影像堆疊、定序讀段、微孔板讀取儀匯出數據，以及實驗台操作影片。一項任務可包含多種類型的數據。分子量標記對照圖、質粒圖譜等參考資料表，有助於解讀實驗證據。
數據類型 | 任務數量 | 包含內容 |
|---|---|---|
凝膠與轉漬影像 | 31 | 瓊脂糖 DNA 凝膠、SDS-PAGE 凝膠、蛋白質免疫轉漬影像 |
實驗流程、筆記與規格 | 27 | 實驗流程與標準操作程序、實驗筆記與運行紀錄、手寫筆記照片、產品目錄、儀器規格、已發表的實驗方法 |
表格與儀器匯出數據 | 20 | 匯出的 CSV 與 Excel 檔案、泳道配置與庫存清單、原始流式細胞儀（FCS）檔案 |
實驗台、設備與試劑照片 | 18 | 實驗台、凝膠電泳裝置、試劑管與培養管、PCR 反應板、試管架、pH 試紙、濃縮儀、冷凍櫃、液體處理工作站台面 |
顯微影像 | 14 | 原始明場與熒光影像、多通道影像組、Z 軸影像堆疊、縮時影片 |
儀器螢幕與圖表 | 13 | 流式細胞儀、顯微鏡、NanoDrop、微孔板讀取儀及天平的螢幕照片；匯出的標準曲線、色譜圖與圖表 |
定序檔案 | 12 | 原始長讀長 FASTQ 檔案、FASTA 序列、GenBank 圖譜 |
實驗流程影片 | 7 | 劃線、接種、連續稀釋、SDS-PAGE 電泳槽與培養箱的設置、使用天平稱重 |
瓊脂培養皿與菌落 | 7 | 轉化培養皿、藍白斑篩選、抗生素紙片培養皿 |
參考資料表 | 21 | 分子量標記對照圖、質粒圖譜、pH 對照表（輔助資料） |
包含各類數據的任務數量。類別之間有所重疊；參考資料表屬輔助資料。
科學家使用自身實驗的數據撰寫任務，為實驗證據配上問題，以及由專家撰寫的評分準則。每項任務都先由一位未參與撰寫的 Ligo 科學家進行內部審核，再由一位在濕實驗室工作的博士級科學家進行外部審核，最後再作一次內部審核。審核人員會檢查提示詞、實驗證據、評分準則、作者備註，以及一次已評分的模型作答。
答案按任務的評分準則評分，各項標準均設有相應分數。視乎任務，這些標準會評估結論、數值結果、支持答案的推理，或能否識別證據不足。
我們使用 BioBasicsBench 評估了七個模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna 和 GPT‑6 Astra。評估涵蓋 37 種模型與推理強度設定組合，每種設定均對全部 100 項任務各嘗試五次，合共產生 18,500 個結果。
我們以平均獎勵分數報告結果，即任務得分的平均值，以可得總分的百分比表示。誤差棒顯示 95% 置信區間，計算時以完整任務為單位重新抽樣，將每項任務的五次嘗試保留在同一組。
平均獎勵分數與每項任務平均輸出 token 數的關係，以對數刻度呈現。每個數據點代表一項受測的推理強度設定，線條按順序連接這些設定。X 軸每個刻度的數值均為上一個的兩倍。橙色虛線代表 GPT‑5 模型，藍色實線代表 GPT‑6 模型。淡色誤差棒顯示以完整任務為單位進行自助抽樣所計算的 95% 置信區間。每種設定均涵蓋全部 100 項任務，每項任務嘗試五次。各模型的推理強度設定有所不同。
即使在低推理強度下，GPT‑6 Astra 的表現仍大幅優於 GPT‑5.6 Sol。這些進步顯示，更強的原生多模態能力，可能是提升日常濕實驗室分析表現的關鍵。
xhigh 推理強度下的表現
模型 | 平均獎勵分數 | 95% 置信區間 | 每項任務的輸出 token 數 |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
Xhigh 是七個模型均有報告結果的最高推理強度設定。每一列均涵蓋全部 100 項任務，每項任務嘗試五次。如有 Max 推理強度的結果，亦已納入上圖。
過度解讀數據是科學研究中常見的陷阱，尤其在驗證假設時，更容易因偏見而出現這種情況。Astra 更能辨識數據所能支持的範圍，避免作出缺乏依據的結論。
在這個例子中，GPT‑5.6 Sol 根據一種用於偵測死細胞的染劑訊號，將細胞判定為死亡。但偵測器也可能接收到另一種染劑發出的光，因此單憑亮度不足以支持這個結論。Astra 察覺到這種不確定性，並指出需要更完善的對照來區分訊號。
明場 · 透射光
通道 2 · SYTOX 標記 · 470–540 nm
通道 3 · FUN-1 綠色熒光 · 525–580 nm
三個通道中的同一組細胞區域；偵測波段在 525–540 nm 之間重疊。重疊波段容許訊號互相干擾，但干擾程度尚未測量。每個通道均使用獨立的線性強度標尺顯示，且該標尺在兩個區域之間保持一致；不同通道的亮度不可作定量比較。
科學研究高度依賴多模態資訊，需要不斷解讀視覺資訊並作出決策。Astra 在處理多模態數據方面有顯著進步，這些數據包括照片和影片，以及定序、微孔板讀取儀測定、顯微成像和流式細胞分析的原始輸出。
這項進步最直接的體現，是 GPT‑6 Astra 能辨識實驗影像中更細微的細節，從而得出更準確的結論，如本例所示。這項任務要求智能代理根據 DNA 克隆實驗作出結論，而對照在這類實驗中至關重要。GPT‑5.6 Sol 觀察到陰性對照培養皿上沒有菌落，並據此作出結論。GPT‑6 Astra 則注意到培養皿標示的抗生素不正確，並正確判斷它不能作為可靠的對照。
原始照片
皿邊標籤
基準測試使用的原始照片，皿邊標籤已圈出並放大。「LB Kan50」表示使用卡那黴素，與實驗所用的氨苄青黴素並非同一種抗生素。
科學家分析數據時，必須同時考慮生物學的隱性知識和實驗背景，才能正確解讀數據。Astra 在整個分析過程中保留並運用這些背景資訊的能力有所提升。
其中一項任務展示了一系列顯微影像，當中的細胞時而清晰、時而失焦。GPT‑5.6 Sol 試圖以生物學原因解釋細胞看似消失的現象，GPT‑6 Astra 則正確辨識出這是 Z 軸影像堆疊，即在不同深度拍攝的一系列影像。
0 秒
3 秒
6 秒
9 秒
12 秒
15 秒
原始錄影中的六個畫面。顯微鏡沿深度方向掃描時，虛線方框標示的是同一位置。時間指所提供影片的播放位置。
基準測試分數提高，尚不代表模型已能在實驗室中作出可靠判斷。以下 Astra 的例子顯示，假設、預期答案和提供的標籤如何凌駕證據，以及分析過程中的正確觀察如何未能引導最終決策。
Astra 讓慣常的假設凌駕於實驗對照所支持的解讀。它能分辨兩組菌落條帶，卻假設較大的 PCR 產物代表克隆成功。基於這項假設，它建議選擇泳道 4、6、7 和 8；但參考答案透過比較對照，選出的是泳道 5、9 和 10。
參考答案選擇菌落 5、9 和 10；Astra 則建議選擇 4、6、7 和 8。
1：分子量標記 · 2：克隆混合物 · 3：原始質粒 · 4–10：菌落樣本
解讀對照
泳道 3 只含原始質粒的 PCR 產物。其條帶提供了舊質粒的參考位置。
根據參考答案的解讀，泳道 2 同時呈現兩種條帶模式：組裝未完成，令舊模板／骨架與新產物並存。
因此，形成的菌落可能攜帶舊質粒，也可能攜帶新質粒。應將菌落的條帶與這些參考模式比較。
參考答案的選擇：5、9 和 10
Astra 的選擇：4、6、7 和 8。Astra 推薦這一組，認為較大的 PCR 產物代表目標構建體。
視覺上的分組是正確的，但與參考答案相比，它對兩組所代表實驗產物的判定恰好相反。因此，Astra 根據菌落 PCR 結果選錯了菌落，這會導致後續純化步驟取得錯誤的質粒。
Astra 輕視與其傾向採納的解讀相矛盾的觀察結果。它斷定液泡（細胞內的區室）一般比周圍的細胞部分暗，儘管在同一影像中，部分液泡看起來較亮。兩種外觀都很重要：改變顯微鏡焦點可以使明暗對比反轉，因此不能單憑較暗的例子確立一般規律。
較暗外觀
較亮外觀
Astra 概括地認為液泡較暗，卻忽略了同一視野內可見的較亮液泡。
這個答案忽略了甚麼
部分細胞呈現相反的明暗對比。兩種外觀都會出現，是因為不同的焦平面深度可以使明暗對比反轉。
Astra 檢視了多個區域，甚至指出明暗對比會隨焦點而變化。然而，它隨後更重視自己認為對焦較佳的細胞，最終答案只保留了這些細胞的液泡較暗的描述。它雖然檢視過與此矛盾的較亮區域，卻未將其納入結論的考量。
Astra 的計數標記未能可靠地對應個別菌落：它無法分辨相距很近的菌落、漏掉可見菌落，並在空白瓊脂區域加上標記。這個培養皿的最終計數，比基準測試的參考值高出約 12%。
原始影像
Astra 的計數標記
原始影像
Astra 的計數標記
原始影像
Astra 的計數標記
A：相鄰菌落之間只有一個計數標記。B：兩個可見菌落未被標記。C：空白瓊脂區域被計作菌落。紅圈表示 Astra 的計數位置。黑色箭嘴為編輯加上的指示。
菌落計數不準確，會直接影響對 DNA 導入細胞效率的估算。在塗板體積和稀釋倍數固定的情況下，計數偏高會令效率估算按相同比例偏高。
要加快生物學研究，必須先把日常工作做好。BioBasicsBench 將這些工作列為改進目標：解讀原始實驗數據、檢查對照，以及識別缺乏證據支持的結論。在這些任務上取得進步，或可協助科學家減少排查問題的時間，將更多時間用於決定下一步應進行哪些實驗。持續追蹤這些能力，也有助我們了解其對生物安全及生物保安的影響。
