我們的使命是確保通用人工智慧造福全人類。為了實踐這項使命，我們希望協助科學家加速生物學研究，從了解疾病到開發新的治療方法。科學家每天在濕式實驗室中使用生物樣本進行實驗。AI 智慧體若要提供協助，就必須能可靠地解讀他們日常處理的實驗證據。濕式實驗室的日常工作包含失敗的實驗、模稜兩可的影像，以及相互矛盾的觀察結果。現有的基準測試以科學論文精選的圖表與影像為基礎，可能忽略這類不確定性，以及釐清問題所需的能力。因此，我們推出 BioBasicsBench。這項全新基準測試由我們與專注於酵素設計的生技公司 Ligo 共同開發，用來衡量智慧體處理日常濕式實驗室分析工作的能力。
這項基準測試包含 100 項任務，測試智慧體能否解讀原始實驗資料、找出錯誤，並辨識證據何時不足以支持結論。正確完成這些任務很重要。誤讀影像，或未察覺用來檢查實驗結果的對照有問題，都可能讓科學家得出錯誤結論，並花時間進行無助於回答研究問題的實驗。
在「極高」推理強度下，GPT‑6 Astra 的平均得分為滿分的 66.7%，GPT‑5.6 Sol 在相同設定下則為 43.8%。這項設定允許模型針對每項任務進行更多推理。結果顯示，模型在日常實驗室分析方面已有進展，但在影像判讀、對照檢查及運用實驗背景資訊方面，仍有改善空間。
BioBasicsBench 使用原始實驗證據，涵蓋凝膠影像、菌落培養皿、顯微影像及儀器讀值。
BioBasicsBench 包含 100 項任務，涵蓋濕式實驗室日常工作的五個領域：蛋白質實驗方法、成像與細胞分析、定量與檢測、核酸實驗方法，以及分子選殖。任務既有判讀凝膠中 DNA 樣本分子量這類簡單要求，也有詳細的檢測分析，但全都屬於濕式實驗室科學家應能可靠完成的日常工作。
科學家使用自己實驗中的資料建立任務，並為每個問題搭配由專家撰寫的評分標準。每項任務都經過三輪審查：先由未參與撰寫的 Ligo 科學家進行內部審查，再由具博士資格、在濕式實驗室工作的科學家進行外部審查，最後再做一次內部審查。
智慧體會回傳結構化答案，包含要求的結論、測量值或建議，並在需要時提供支持答案的推理。答案依評分規準中的各項標準分別給分，讓基準測試能區分正確結論與部分正確的分析。大多數任務會同時測試多項技能，包括生物學知識、影像與其他資料的判讀、錯誤偵測，以及對實驗流程的理解。
「不重複任務數」將每項任務只計算一次。技能欄則統計具有各項技能標籤的任務數。這些類別會重疊：同一項任務可能出現在多個欄位，因此不能將各技能的數量相加來計算任務總數。顏色用於區分領域；色塊越深，表示該領域中測試這項技能的任務占比越高。
輸入資料保留科學家實際使用的證據形式：凝膠與轉漬影像、培養皿照片、顯微影像堆疊、定序讀序、微孔盤讀取儀匯出資料，以及實驗操作影片。一項任務可包含多種類型的資料。分子量標記圖表、質體圖譜等參考表可輔助解讀實驗證據。
資料類型 | 任務數 | 包含內容 |
|---|---|---|
凝膠與轉漬影像 | 31 | DNA 瓊脂糖凝膠、SDS-PAGE 凝膠、西方墨點法影像 |
實驗流程、筆記與規格 | 27 | 實驗流程與標準作業程序、實驗筆記與執行紀錄、手寫筆記照片、產品目錄、儀器規格、已發表的實驗方法 |
表格與儀器匯出資料 | 20 | CSV 與 Excel 匯出檔案、泳道配置與庫存清單、原始流式細胞分析 (FCS) 檔案 |
實驗桌、設備與試劑照片 | 18 | 實驗桌、凝膠電泳裝置、試劑管與培養管、PCR 反應盤、試管架、pH 試紙、濃縮儀、冷凍櫃、液體處理機工作台 |
顯微影像 | 14 | 原始明視野與螢光影像、多通道影像組、Z 軸影像堆疊、縮時影片 |
儀器螢幕與圖表 | 13 | 流式細胞儀、顯微鏡、NanoDrop、微孔盤讀取儀與天平的螢幕照片；匯出的標準曲線、層析圖與圖表 |
定序檔案 | 12 | 原始長讀長 FASTQ 檔案、FASTA 序列、GenBank 圖譜 |
實驗操作影片 | 7 | 劃線培養、接種、連續稀釋、SDS-PAGE 電泳槽與培養箱設置、天平秤重 |
瓊脂培養皿與菌落 | 7 | 轉形培養皿、藍白篩選、抗生素紙錠培養皿 |
參考表 | 21 | 分子量標記圖表、質體圖譜、pH 比色表（輔助資料） |
包含各類資料的任務數量。類別之間有重疊；參考表屬於輔助資料。
科學家使用自己實驗中的資料撰寫任務，為實驗證據搭配問題及專家撰寫的評分規準。每項任務都經過三輪審查：先由未參與撰寫的 Ligo 科學家進行內部審查，再由具博士資格、在濕式實驗室工作的科學家進行外部審查，最後再做一次內部審查。審查者會檢查提示詞、實驗證據、評分規準、出題者註記，以及一份已評分的模型作答。
答案依任務的評分規準計分，規準中的各項標準分別配有分數。這些標準會依任務需求，評估結論、數值結果、支持答案的推理，或是否辨識出證據不足。
我們使用 BioBasicsBench 評估了七款模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna 和 GPT‑6 Astra。評估涵蓋 37 種模型與推理強度設定組合。每種設定都對 100 項任務各嘗試五次，共產生 18,500 筆結果。
我們以平均獎勵呈現結果，也就是任務平均得分占滿分的百分比。誤差棒顯示 95% 信賴區間；計算時以完整任務為單位重新抽樣，每項任務的五次嘗試都保留在同一組。
平均獎勵與每項任務平均輸出 Token 數的關係圖採用對數刻度。每個點代表一個受測的推理強度設定，線條依序連接這些設定。X 軸每一格刻度的數值皆為前一格的兩倍。橘色虛線代表 GPT‑5 模型，藍色實線代表 GPT‑6 模型。淡色誤差棒表示以完整任務為單位、透過自助抽樣法計算的 95% 信賴區間。每種設定皆包含全部 100 項任務，每項任務嘗試五次。各模型的推理強度設定有所不同。
即使在低推理強度下，GPT‑6 Astra 的表現仍大幅優於 GPT‑5.6 Sol。這些進展顯示，更強的原生多模態能力可能是提升日常濕式實驗室分析表現的關鍵。
極高推理強度下的表現
模型 | 平均獎勵 | 95% 信賴區間 | 每項任務的輸出 Token 數 |
|---|---|---|---|
GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
GPT‑5.5 | 35.4% | 29.7–41.0% | 11,135 |
GPT‑5.4 | 33.2% | 28.3–38.4% | 13,717 |
GPT‑5.2 | 31.2% | 26.2–36.3% | 27,620 |
「極高」是七款模型皆有結果可供比較的最高推理強度設定。每一列皆包含全部 100 項任務，每項任務嘗試五次。若模型另有「最高」推理強度的結果，也已納入上方圖表。
過度解讀資料是科學研究中常見的陷阱，尤其在驗證假說時容易產生偏誤。Astra 更能辨識資料所能支持的範圍，避免做出缺乏依據的結論。
在這個例子中，GPT‑5.6 Sol 根據一種用於偵測死細胞的染劑訊號，將細胞判定為已死亡。但偵測器也可能接收到另一種染劑發出的光，因此不能單憑亮度得出這個結論。Astra 察覺到這項不確定性，並指出需要更完善的對照來區分訊號。
明視野 · 透射光
通道 2 · SYTOX 標記 · 470–540 nm
通道 3 · FUN-1 綠色螢光 · 525–580 nm
三個通道中的相同細胞區域；偵測波段在 525–540 nm 之間重疊。重疊波段可能造成干擾，但干擾量尚未測定。每個通道各自使用獨立的線性強度刻度，且兩個區域均採用相同刻度；不同通道的亮度無法進行定量比較。
科學研究具有高度多模態特性，需要不斷判讀視覺資訊並做出決策。Astra 處理多模態資料的能力顯著提升，涵蓋照片、影片，以及定序、微孔盤讀取儀檢測、顯微成像和流式細胞分析的原始輸出資料。
本例顯示，最基本的進步在於 GPT‑6 Astra 能從實驗過程拍攝的影像中辨識出更細微的細節，進而得出更準確的結論。這項任務要求智慧體根據一項 DNA 選殖實驗得出結論，而對照在這類實驗中很重要。GPT‑5.6 Sol 看到陰性對照培養皿上沒有菌落，便以這項觀察為依據得出結論。GPT‑6 Astra 則注意到培養皿標示的抗生素不正確，因而正確判定這個培養皿不能作為可靠的對照。
原始照片
皿緣上的標籤
基準測試使用的原始照片，皿緣標籤已圈出並放大。「LB Kan50」標示的是卡那黴素，與實驗使用的安比西林是不同的抗生素。
科學家在分析資料時，必須同時考量隱性的生物學知識與實驗背景，才能正確解讀資料所呈現的意義。Astra 在整個分析過程中保留並運用這些背景資訊的能力有所提升。
其中一項任務提供一系列顯微影像，細胞在其中交替呈現清晰與失焦的狀態。GPT‑5.6 Sol 試圖從生物學角度解釋細胞為何看似消失，GPT‑6 Astra 則正確辨識出這是 Z 軸影像堆疊，也就是在不同深度拍攝的一系列影像。
0 秒
3 秒
6 秒
9 秒
12 秒
15 秒
原始錄影中的六個畫面。顯微鏡沿深度方向掃描時，虛線框標示的是同一位置。時間表示所提供影片中的播放位置。
基準測試分數提高，尚不代表模型能在實驗室中做出可靠判斷。以下 Astra 案例顯示，假設、預期答案與提供的標籤如何凌駕於證據之上，以及分析過程中即使有正確觀察，也可能未能據此做出最終決策。
Astra 讓熟悉的假設凌駕於實驗對照所支持的解讀。雖能區分兩組菌落樣本的條帶，卻假設較大的 PCR 產物代表選殖成功。基於這個假設，建議選擇泳道 4、6、7 和 8；但參考答案根據對照比較，選擇的是泳道 5、9 和 10。
參考答案選擇菌落 5、9 和 10；Astra 則建議 4、6、7 和 8。
1：分子量標記 · 2：選殖混合物 · 3：原始質體 · 4–10：菌落樣本
判讀對照
泳道 3 只含有原始質體的 PCR 產物，條帶位置可作為舊質體的比對基準。
依照參考答案的解讀，泳道 2 同時出現兩種條帶型態：組裝不完全，使舊模板/骨架與新產物並存。
因此，形成的菌落可能帶有舊質體，也可能帶有新質體。應將菌落樣本的條帶與這些參考型態比較。
參考答案的選擇：5、9 和 10
Astra 的選擇：4、6、7 和 8。Astra 推薦這一組，認為較大的 PCR 產物代表預期構築體。
按影像進行的分組是正確的，但 Astra 判定各組對應的實驗樣本時，結果與參考答案恰好相反。因此，Astra 根據菌落 PCR 結果選錯了菌落，後續將導致純化出錯誤的質體。
Astra 輕忽了與自身偏好的解釋相矛盾的觀察結果。Astra 認為，液泡這種位於細胞內的構造通常比周圍的細胞內部區域暗，儘管同一張影像中有些液泡看起來更亮。這兩種外觀都必須納入考量：改變顯微鏡的焦平面可能使明暗對比反轉，因此不能僅憑較暗的例子就確立一般規律。
較暗的外觀
較亮的外觀
Astra 概括認定液泡較暗，卻忽略了同一視野中可見的較亮液泡。
這個答案遺漏了什麼
部分細胞呈現相反的明暗對比。不同的焦平面深度可能使明暗對比反轉，因此兩種外觀都會出現。
Astra 檢視了多個區域，甚至指出明暗對比會隨對焦而變化。然而，接著卻更採信自己認為對焦較清楚的細胞，最終答案只保留這些細胞液泡較暗的描述。與這項解讀相矛盾的較亮區域雖然已經過檢視，卻未納入結論。
Astra 的計數標記無法可靠地與個別菌落一一對應：Astra 無法區分緊鄰的菌落、漏掉可見菌落，還標記了沒有菌落的瓊脂區域。最終結果是，相較於基準測試的參考答案，這個培養皿的菌落數被高估了約 12%。
原始影像
Astra 的計數標記
原始影像
Astra 的計數標記
原始影像
Astra 的計數標記
A：在相鄰菌落之間放置一個計數標記。B：兩個可見菌落未被標記。C：將沒有菌落的瓊脂區域計為菌落。紅圈表示 Astra 的計數位置。黑色箭頭為編輯加上的引導標示。
菌落計數不準確，會直接影響 DNA 導入細胞效率的估算。在塗盤體積與稀釋倍數固定的情況下，菌落數高估多少比例，效率估算值也會以相同比例被高估。
要加速生物學研究，就必須把日常工作做好。BioBasicsBench 將這些工作列為改善目標：解讀原始實驗資料、檢查對照，以及辨識結論何時缺乏證據支持。在這些任務上取得進展，有望幫助科學家減少釐清實驗問題所需的時間，把更多時間用於決定下一步要進行哪些實驗。持續追蹤這些能力，也將幫助我們了解相關能力對生物安全與生物保全的影響。
