日常的なウェットラボ業務における AI エージェントの能力評価

私たちのミッションは、汎用人工知能が全人類に利益をもたらすようにすることです。その一環として、疾患の理解から新たな治療法の開発まで、科学者による生物学研究の加速を支援したいと考えています。AI エージェントが貢献するには、生物試料を用いた実験を行うウェットラボで、科学者が日々扱う実験の証拠を確実に解釈できる必要があります。ウェットラボでの日常業務には、実験の失敗、解釈が曖昧な画像、矛盾する観察結果がつきものです。科学論文向けに選ばれた図表や画像を中心とする既存のベンチマークでは、こうした曖昧さや、それに対処するトラブルシューティングを捉えきれない可能性があります。そこで、酵素設計に注力するバイオテクノロジー企業 Ligo と共同開発した新しいベンチマーク、BioBasicsBench を公開します。エージェントがウェットラボの日常的な分析にどれだけ対応できるかを測定します。

このベンチマークの 100 タスクでは、エージェントが実験の生データを解釈し、エラーを特定し、証拠から結論を裏づけられない場合にそれを認識できるかを評価します。これらのタスクに正しく対応できることは重要です。画像を読み違えたり、実験結果の確認に用いる対照の問題を見落としたりすると、科学者が誤った結論を導き、問いの解決につながらない実験に時間を費やしかねないためです。

タスクごとにより多くの推論を行える「超高」設定では、GPT‑6 Astra は満点に対して平均 66.7% を獲得しました。GPT‑5.6 Sol は 43.8% でした。結果は、日常的な実験分析での進歩を示しています。一方、画像の解釈、対照の確認、実験の文脈の適用には、さらなる改善の余地があります。

BioBasicsBench は、ゲル画像やコロニープレートから顕微鏡画像、機器の測定値まで、未加工の実験データを使用します。

BioBasicsBench は、ウェットラボの日常業務の 5 分野にわたる 100 タスクで構成されています。分野は、タンパク質実験手法、イメージング・サイトメトリー、定量・アッセイ、核酸実験手法、分子クローニングです。タスクは、ゲルから DNA 試料の分子量を読み取るといった単純な依頼から、詳細なアッセイ分析まで多岐にわたります。ただし、いずれもウェットラボの科学者が確実にこなせるべき日常的な業務です。

科学者が自身の実験データを使ってタスクを作成し、各設問に専門家が作成した採点基準を組み合わせました。各タスクは、作成者以外の Ligo の科学者による社内レビュー、ウェットラボで研究する博士号レベルの科学者による外部レビュー、最終社内レビューを経ています。

エージェントは、求められた結論、測定値、または提案を構造化された回答として返し、必要に応じて根拠となる推論も示します。回答はルーブリックの個別基準ごとに採点されるため、このベンチマークでは、正しい結論と部分的に正しい分析を区別できます。ほとんどのタスクは、生物学の知識、画像やその他のデータの解釈、エラー検出、プロトコルの理解など、複数のスキルを組み合わせて評価します。

入力には、科学者が実際に扱うデータ形式をそのまま用いています。ゲルやブロットの画像、プレートの写真、顕微鏡のスタック画像、シーケンシングリード、プレートリーダーの出力データ、実験台での作業動画などです。1 つのタスクに複数の種類のデータが含まれる場合もあります。ラダーチャートやプラスミドマップなどの参照シートが、実験の証拠の解釈を補助します。

科学者が自身の実験データを使ってタスクを作成し、実験の証拠に設問と専門家が作成した採点ルーブリックを組み合わせました。各タスクは、作成者以外の Ligo の科学者による社内レビュー、ウェットラボで研究する博士号レベルの科学者による外部レビュー、最終社内レビューを経ています。レビュー担当者は、プロンプト、実験の証拠、ルーブリック、作成者の注記、採点済みのモデルの試行結果を確認しました。

回答は、個々の基準に配点したタスクのルーブリックに沿って採点されます。これらの基準は、タスクに応じて、結論、数値結果、根拠となる推論、または証拠が不十分であることの認識を評価します。

BioBasicsBench で、GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna、GPT‑6 Astra の 7 つのモデルを評価しました。モデルと推論の労力を組み合わせた 37 通りの設定を評価しました。各設定で 100 タスクをそれぞれ 5 回試行し、計 18,500 件の結果を得ました。

評価指標は平均報酬です。各タスクの得点を満点に対する割合で表し、その平均を算出しています。エラーバーは 95% 信頼区間を示します。各タスクの 5 回の試行をまとめて扱い、タスク単位で再サンプリングして算出しました。

GPT‑6 Astra は、推論の労力が低い設定でも GPT‑5.6 Sol を大きく上回っています。この向上は、ネイティブなマルチモーダル能力の強化が、日常的なウェットラボでの分析性能を高める鍵となる可能性を示唆しています。

科学研究で陥りやすい落とし穴の一つが、データの過剰解釈です。特に仮説検証では、そこで生じるバイアスの性質から、この問題が起こりやすくなります。Astra は、データから何が言えるかの限界を見極め、根拠のない結論を避ける能力の向上を示しました。

この例では、GPT‑5.6 Sol は死細胞検出用の色素のシグナルに基づき、細胞を死細胞と分類しました。しかし、検出器は別の色素からの光も拾う可能性があるため、明るさだけではその結論を正当化できません。Astra はこの曖昧さを認識し、シグナルを切り分けるために、より適切な対照が必要だと指摘しました。

科学研究では多様な形式の情報を扱い、視覚情報の解釈と意思決定が常に求められます。Astra は、写真や動画に加え、シーケンシング、プレートリーダーアッセイ、顕微鏡観察、フローサイトメトリーの生データなど、マルチモーダルデータを扱う能力が大幅に向上しました。

最も基本的な面では、次の例のように、GPT‑6 Astra が実験中に撮影された画像の細部を捉え、より正確な結論を導ける点に、この向上が表れています。このタスクでは、対照が不可欠な DNA クローニング実験から結論を導くよう、エージェントに求めました。GPT‑5.6 Sol は、陰性対照プレートにコロニーがないと判断し、その観察に基づいて結論を出しました。GPT‑6 Astra は、プレートのラベルに誤った抗生物質が記載されていることに気づき、信頼できる対照としては使えないと正しく判断しました。

科学者がデータの示す内容を正しく解釈するには、生物学の暗黙知と実験の文脈を念頭に置きながら分析する必要があります。Astra は、この文脈を保持し、分析全体にわたって適用する能力の向上を示しました。

あるタスクでは、一連の顕微鏡画像の中で、細胞にピントが合ったり外れたりする様子が示されました。GPT‑5.6 Sol が、細胞が消えたように見える現象に生物学的な説明を求めたのに対し、GPT‑6 Astra は、異なる深さで撮影した一連の画像である Z スタックだと正しく認識しました。

ベンチマークのスコアが高くなっても、モデルが実験室で信頼できる判断を下せるとは、まだ言えません。以下の Astra の例は、思い込みや予想される答え、与えられたラベルが証拠よりも優先されることや、途中の正しい観察が最終判断に生かされないことを示しています。

Astra は、実験の対照が裏づける解釈よりも、よくある思い込みを優先しています。コロニー由来のバンドを 2 つのグループに区別できますが、PCR 産物が大きい方をクローニング成功の指標だと思い込んでいます。その前提でレーン 4、6、7、8 を提案しています。一方、参照解答では対照との比較に基づき、レーン 5、9、10 を選択しています。

Astra は、自らの解釈に反する観察結果を軽視しています。細胞内の区画である液胞について、同じ画像内に明るく見えるものもあるにもかかわらず、一般に周囲の細胞部分より暗いと結論づけています。どちらの見え方も重要です。顕微鏡の焦点を変えるとコントラストが反転することがあるため、暗く見える例だけで一般的な法則は導けません。

Astra の計数マークは、個々のコロニーに正確に対応していません。密接したコロニーを区別できず、目視できるコロニーを見落とし、コロニーのない寒天部分にもマークを付けています。このプレートでは、差し引きでベンチマークの参照値より約 12% 多く計数しています。

コロニー数が不正確だと、DNA が細胞に導入された効率の推定に直接影響します。塗布量と希釈率が同じであれば、過大計数によって効率の推定値も同じ割合で高くなります。

生物学研究を加速するには、日常的な作業を正確に行う必要があります。BioBasicsBench は、その作業を改善の対象として明確にします。実験の生データの解釈、対照の確認、結論が裏づけられていない場合の認識です。これらのタスクで進歩すれば、科学者はトラブルシューティングに費やす時間を減らし、次に取り組む実験の検討により多くの時間を使えるようになる可能性があります。これらの能力を継続的に評価することは、バイオセーフティとバイオセキュリティへの影響を理解するうえでも役立ちます。