AI 에이전트의 일상적인 습식 실험 수행 능력 측정

우리의 미션은 범용 인공지능이 모든 인류에게 혜택을 주도록 하는 것입니다. 이 미션의 일환으로, 질병 이해부터 새로운 치료법 개발까지 과학자들의 생물학 연구를 가속화하고자 합니다. AI 에이전트가 이에 기여하려면, 과학자들이 생물학적 시료로 실험하는 습식 실험실에서 매일 다루는 실험 근거를 신뢰할 수 있게 해석해야 합니다. 일상적인 습식 실험에는 실패한 실험, 모호한 이미지, 서로 상충하는 관찰 결과가 따릅니다. 기존 벤치마크는 과학 논문용으로 선별된 차트와 이미지를 중심으로 구성되어 있어, 이러한 모호성과 그에 필요한 문제 해결 과정을 놓칠 수 있습니다. 이에 에이전트가 일상적인 습식 실험 분석을 얼마나 잘 수행하는지 측정하는 새로운 벤치마크, BioBasicsBench를 소개합니다. 효소 설계 전문 바이오테크 기업 Ligo와 함께 개발했습니다.

이 벤치마크의 100개 과제는 에이전트가 원시 실험 데이터를 해석하고, 오류를 식별하며, 근거가 결론을 뒷받침하기에 부족한 경우를 인식할 수 있는지 평가합니다. 이러한 과제를 올바르게 수행하는 것은 중요합니다. 이미지를 잘못 읽거나 실험 결과를 확인하기 위한 대조군의 문제를 놓치면, 과학자가 잘못된 결론을 내리고 연구 질문의 답을 찾는 데 도움이 되지 않는 실험에 시간을 쓸 수 있기 때문입니다.

과제당 더 많은 추론을 허용하는 ‘xhigh’ 설정에서 GPT‑6 Astra는 만점 대비 평균 66.7%를 획득했으며, GPT‑5.6 Sol은 43.8%를 기록했습니다. 결과는 일상적인 실험실 분석에서 진전이 있었음을 보여 주지만, 이미지 해석, 대조군 확인, 실험 맥락 적용에는 여전히 개선의 여지가 있습니다.

BioBasicsBench는 겔 이미지와 콜로니 배양 접시부터 현미경 관찰 자료와 장비 측정값까지, 가공되지 않은 실험 근거를 사용합니다.

BioBasicsBench는 단백질 실험 기법, 이미징 및 세포 분석, 정량 및 분석 실험, 핵산 실험 기법, 분자 클로닝이라는 다섯 가지 일상적 습식 실험 분야에 걸쳐 100개 과제로 구성됩니다. 과제는 겔에서 DNA 시료의 분자량을 읽는 간단한 요청부터 상세한 실험 결과 분석까지 다양하지만, 모두 습식 실험 과학자라면 안정적으로 수행할 수 있어야 하는 일상 업무입니다.

과학자들은 자신의 실험 데이터를 바탕으로 과제를 만들고, 각 질문에 전문가가 작성한 채점 기준을 연결했습니다. 각 과제는 작성에 참여하지 않은 Ligo 과학자의 내부 검토, 습식 실험실에서 일하는 박사급 과학자의 외부 검토, 최종 내부 검토를 거쳤습니다.

에이전트는 요청된 결론, 측정값 또는 권고 사항을 담은 구조화된 답변을 반환하며, 필요한 경우 이를 뒷받침하는 추론도 제시합니다. 답변은 채점표의 개별 기준에 따라 점수를 받으므로, 벤치마크는 올바른 결론과 부분적으로 올바른 분석을 구분할 수 있습니다. 대부분의 과제는 생물학 지식, 이미지 및 기타 데이터 해석, 오류 탐지, 프로토콜 이해 등 여러 역량을 함께 평가합니다.

입력 자료는 과학자들이 다루는 근거의 형태를 그대로 유지합니다. 여기에는 겔 및 블롯 이미지, 배양 접시 사진, 현미경 이미지 스택, 시퀀싱 리드, 플레이트 리더에서 내보낸 데이터, 실험대 작업 영상이 포함됩니다. 하나의 과제에 여러 유형의 데이터가 포함될 수 있습니다. 래더 차트와 플라스미드 지도 같은 참고표는 실험 근거를 해석하는 데 도움을 줍니다.

과학자들은 자신의 실험 데이터를 바탕으로 과제를 작성하고, 실험 근거에 질문과 전문가가 작성한 채점표를 연결했습니다. 각 과제는 작성에 참여하지 않은 Ligo 과학자의 내부 검토, 습식 실험실에서 일하는 박사급 과학자의 외부 검토, 최종 내부 검토를 거쳤습니다. 검토자들은 프롬프트, 실험 근거, 채점표, 작성자 메모, 채점된 모델의 풀이를 확인했습니다.

답변은 개별 기준에 점수를 배정한 해당 과제의 채점표에 따라 평가됩니다. 과제에 따라 이러한 기준은 결론, 수치 결과, 이를 뒷받침하는 추론, 또는 근거가 불충분하다는 인식을 평가합니다.

BioBasicsBench로 GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna, GPT‑6 Astra 등 7개 모델을 평가했습니다. 평가에는 모델과 추론 노력 설정의 조합 37개가 포함되었으며, 각 설정에서 100개 과제를 각각 5회씩 시도해 총 18,500개의 결과를 얻었습니다.

평가 지표는 평균 보상으로, 과제 점수를 만점 대비 백분율로 나타낸 뒤 평균한 값입니다. 오차 막대는 각 과제의 시도 5회를 하나로 묶고 과제 전체를 단위로 재표집해 계산한 95% 신뢰 구간을 나타냅니다.

GPT‑6 Astra는 낮은 추론 노력에서도 GPT‑5.6 Sol보다 성능이 크게 향상되었습니다. 이러한 향상은 더 강력한 네이티브 멀티모달 역량이 일상적인 습식 실험 분석의 성능을 높이는 핵심일 수 있음을 시사합니다.

과학에서 흔히 빠지는 함정은 데이터를 과도하게 해석하는 것입니다. 특히 가설 검증 과정에서 발생하는 편향의 특성을 고려하면 더욱 그렇습니다. Astra는 데이터가 보여 주는 범위의 한계를 파악하고 근거 없는 결론을 내리지 않는 능력이 향상되었습니다.

이 예시에서 GPT‑5.6 Sol은 죽은 세포를 검출하는 염료의 신호를 근거로 세포를 죽은 것으로 분류했습니다. 하지만 검출기가 다른 염료의 빛도 감지할 수 있었으므로, 밝기만으로는 그러한 결론을 정당화할 수 없었습니다. Astra는 이러한 모호성을 인식하고 신호를 분리하기 위해 더 적절한 대조군이 필요하다고 지적했습니다.

과학 연구는 다양한 형태의 정보를 다루므로, 끊임없는 시각적 해석과 의사결정이 필요합니다. Astra는 사진과 영상뿐 아니라 시퀀싱, 플레이트 리더 분석, 현미경 관찰, 유세포 분석의 원시 출력 형태로 제공된 멀티모달 데이터를 처리하는 능력이 크게 향상되었습니다.

가장 기본적인 수준에서는, 이 예시에서처럼 GPT‑6 Astra가 실험 중 촬영한 이미지의 세밀한 부분까지 포착해 더 정확한 결론을 도출하는 능력에서 이러한 향상을 확인할 수 있었습니다. 이 과제는 대조군이 필수적인 DNA 클로닝 실험에서 결론을 도출하도록 에이전트에 요구했습니다. GPT‑5.6 Sol은 음성 대조군 배양 접시에 콜로니가 없다고 관찰하고, 이를 근거로 결론을 내렸습니다. GPT‑6 Astra는 배양 접시의 라벨에 잘못된 항생제가 표시되어 있음을 알아차리고, 이를 신뢰할 수 있는 대조군으로 인정하지 않는 올바른 판단을 내렸습니다.

과학자는 데이터가 보여 주는 내용을 올바르게 해석하기 위해 분석 과정에서 생물학적 암묵지와 실험 맥락을 염두에 두어야 합니다. Astra는 이러한 맥락을 유지하고 분석 전반에 적용하는 능력이 향상되었습니다.

한 과제에서는 일련의 현미경 이미지에서 세포의 초점이 맞았다가 흐려지는 모습이 제시되었습니다. GPT‑5.6 Sol은 세포가 사라지는 듯한 현상에 대해 생물학적 설명을 찾으려 했지만, GPT‑6 Astra는 이를 서로 다른 깊이에서 촬영한 일련의 이미지인 z-스택으로 정확히 인식했습니다.

벤치마크 점수가 높아졌다고 해서 모델이 실험실에서 신뢰할 수 있는 판단을 내릴 수 있다는 뜻은 아직 아닙니다. 다음 Astra 사례는 가정, 예상되는 답, 제공된 라벨이 어떻게 근거보다 우선시되는지, 그리고 중간 단계에서 올바르게 관찰한 내용이 어떻게 최종 판단에 반영되지 않을 수 있는지 보여 줍니다.

Astra는 실험 대조군이 뒷받침하는 해석보다 익숙한 가정을 우선합니다. 콜로니 밴드의 두 그룹을 구별할 수는 있지만, 더 큰 PCR 산물이 클로닝 성공을 나타낸다고 가정합니다. 이 가정에 따라 레인 4, 6, 7, 8을 제안하지만, 기준 답안은 대조군과의 비교를 통해 레인 5, 9, 10을 선택합니다.

Astra는 자신이 선호하는 해석에 반하는 관찰 결과를 경시합니다. 같은 이미지에서 일부 액포가 더 밝게 보이는데도, 세포 내 구획인 액포가 대체로 주변 세포 영역보다 어둡다고 결론 내립니다. 두 가지 모습 모두 중요합니다. 현미경의 초점을 바꾸면 명암이 반전될 수 있으므로, 어둡게 보이는 사례만으로 일반적인 규칙을 세울 수는 없습니다.

Astra의 계수 표시는 개별 콜로니와 일관되게 대응하지 않습니다. 가까이 있는 콜로니를 구별하지 못하고, 눈에 보이는 콜로니를 놓치며, 콜로니가 없는 한천 배지에 표시합니다. 그 결과 이 배양 접시에서는 벤치마크 기준값보다 약 12% 많게 계수했습니다.

부정확한 콜로니 수는 DNA가 세포에 도입된 효율의 추정치에 직접적인 영향을 미칩니다. 도말한 부피와 희석 배수가 일정할 때 콜로니를 과다 계수하면, 이 추정치도 같은 비율로 부풀려집니다.

생물학 연구를 가속화하려면 일상적인 작업부터 정확히 수행해야 합니다. BioBasicsBench는 원시 실험 데이터 해석, 대조군 확인, 근거가 결론을 뒷받침하지 못하는 상황의 인식이라는 일상 작업을 개선 목표로 삼습니다. 이러한 과제에서 진전이 이루어지면 과학자들이 문제 해결에 쓰는 시간을 줄이고, 다음에 어떤 실험을 진행할지 결정하는 데 더 많은 시간을 할애할 수 있습니다. 이러한 역량을 추적하면 생물안전과 생물보안에 미치는 영향도 더 잘 이해할 수 있습니다.