Đánh giá tác nhân AI trong công việc thường ngày tại phòng thí nghiệm ướt

Sứ mệnh của chúng tôi là bảo đảm trí tuệ nhân tạo tổng hợp mang lại lợi ích cho toàn nhân loại. Trong khuôn khổ sứ mệnh đó, chúng tôi muốn giúp các nhà khoa học đẩy nhanh nghiên cứu sinh học—từ tìm hiểu bệnh tật đến phát triển phương pháp điều trị mới. Để đóng góp, các tác nhân AI cần diễn giải một cách đáng tin cậy những bằng chứng thực nghiệm mà các nhà khoa học tiếp xúc hằng ngày trong phòng thí nghiệm ướt, nơi họ tiến hành thí nghiệm với mẫu sinh học. Công việc thường ngày trong phòng thí nghiệm ướt bao gồm những thí nghiệm thất bại, hình ảnh khó diễn giải và các quan sát mâu thuẫn nhau. Các bộ đánh giá hiện có được xây dựng dựa trên biểu đồ và hình ảnh đã qua chọn lọc cho bài báo khoa học, nên có thể bỏ qua sự mơ hồ này cùng yêu cầu xử lý sự cố đi kèm. Vì vậy, chúng tôi giới thiệu BioBasicsBench, một bộ đánh giá mới được phát triển cùng Ligo, công ty công nghệ sinh học chuyên về thiết kế enzyme, nhằm đo lường khả năng của tác nhân trong việc xử lý các phân tích thường quy trong phòng thí nghiệm ướt.

100 tác vụ của bộ đánh giá kiểm tra xem tác nhân có thể diễn giải dữ liệu thực nghiệm thô, phát hiện lỗi và nhận biết khi bằng chứng không đủ để đưa ra kết luận hay không. Thực hiện đúng các tác vụ này rất quan trọng: đọc sai một hình ảnh hoặc bỏ sót vấn đề ở các đối chứng dùng để kiểm tra kết quả thí nghiệm có thể khiến nhà khoa học kết luận sai và tốn thời gian vào những thí nghiệm không giúp trả lời câu hỏi nghiên cứu.

Ở mức “xhigh”, cho phép suy luận nhiều hơn cho mỗi tác vụ, GPT‑6 Astra đạt trung bình 66,7% số điểm tối đa, so với 43,8% của GPT‑5.6 Sol. Kết quả cho thấy tiến bộ trong phân tích thường quy tại phòng thí nghiệm, đồng thời vẫn còn dư địa cải thiện việc diễn giải hình ảnh, kiểm tra đối chứng và vận dụng bối cảnh thí nghiệm.

BioBasicsBench sử dụng bằng chứng thực nghiệm thô, từ ảnh gel và đĩa khuẩn lạc đến ảnh hiển vi và số liệu đọc từ thiết bị.

BioBasicsBench có 100 tác vụ thuộc năm lĩnh vực công việc thường quy trong phòng thí nghiệm ướt: phương pháp nghiên cứu protein, tạo ảnh và đo tế bào, định lượng và phép thử, phương pháp nghiên cứu axit nucleic, và tạo dòng phân tử. Các tác vụ trải dài từ yêu cầu đơn giản, như đọc khối lượng phân tử của mẫu DNA trên gel, đến phân tích chi tiết phép thử, nhưng đều là công việc thường quy mà các nhà khoa học trong phòng thí nghiệm ướt cần thực hiện được một cách đáng tin cậy.

Các nhà khoa học xây dựng tác vụ bằng dữ liệu từ chính thí nghiệm của mình, ghép mỗi câu hỏi với các tiêu chí chấm điểm do chuyên gia biên soạn. Mỗi tác vụ trải qua một vòng thẩm định nội bộ bởi nhà khoa học tại Ligo không tham gia biên soạn tác vụ đó, một vòng thẩm định bên ngoài bởi nhà khoa học có trình độ tiến sĩ đang làm việc trong phòng thí nghiệm ướt, rồi một vòng thẩm định nội bộ cuối cùng.

Tác nhân trả về câu trả lời có cấu trúc, gồm kết luận, kết quả đo hoặc khuyến nghị được yêu cầu, cùng phần suy luận làm căn cứ khi cần. Câu trả lời được chấm điểm theo từng tiêu chí trong thang chấm điểm, giúp bộ đánh giá phân biệt kết luận đúng với phân tích chỉ đúng một phần. Hầu hết tác vụ kiểm tra đồng thời nhiều kỹ năng, gồm kiến thức sinh học, diễn giải hình ảnh và dữ liệu khác, phát hiện lỗi và hiểu quy trình thí nghiệm.

Dữ liệu đầu vào giữ nguyên các dạng bằng chứng mà nhà khoa học sử dụng: ảnh gel và màng lai, ảnh chụp đĩa, chồng ảnh hiển vi, đoạn đọc giải trình tự, dữ liệu xuất từ máy đọc đĩa và video thao tác tại bàn thí nghiệm. Một tác vụ có thể bao gồm nhiều loại dữ liệu. Các tài liệu tra cứu, như sơ đồ thang chuẩn điện di và bản đồ plasmid, hỗ trợ việc diễn giải bằng chứng thực nghiệm.

Các nhà khoa học biên soạn tác vụ bằng dữ liệu từ chính thí nghiệm của mình, kết hợp bằng chứng thực nghiệm với một câu hỏi và thang chấm điểm do chuyên gia xây dựng. Mỗi tác vụ trải qua một vòng thẩm định nội bộ bởi nhà khoa học tại Ligo không tham gia biên soạn tác vụ đó, một vòng thẩm định bên ngoài bởi nhà khoa học có trình độ tiến sĩ đang làm việc trong phòng thí nghiệm ướt, rồi một vòng thẩm định nội bộ cuối cùng. Người thẩm định kiểm tra câu lệnh, bằng chứng thực nghiệm, thang chấm điểm, ghi chú của tác giả và một lần thực hiện của mô hình đã được chấm điểm.

Câu trả lời được chấm theo thang điểm của tác vụ, trong đó điểm được phân bổ cho từng tiêu chí. Tùy tác vụ, các tiêu chí này đánh giá kết luận, kết quả dạng số, suy luận làm căn cứ hoặc khả năng nhận biết bằng chứng chưa đủ.

Chúng tôi đã đánh giá bảy mô hình trên BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna và GPT‑6 Astra. Đợt đánh giá bao gồm 37 cấu hình kết hợp mô hình và mức nỗ lực suy luận. Mỗi cấu hình thực hiện từng tác vụ trong bộ 100 tác vụ năm lần, tạo ra tổng cộng 18.500 kết quả.

Chúng tôi báo cáo điểm thưởng trung bình: điểm tác vụ trung bình, tính theo tỷ lệ phần trăm số điểm tối đa có thể đạt được. Các thanh sai số thể hiện khoảng tin cậy 95%, được tính bằng cách lấy mẫu lại theo toàn bộ tác vụ, giữ nguyên nhóm năm lần thực hiện của mỗi tác vụ.

GPT‑6 Astra cải thiện đáng kể so với GPT‑5.6 Sol, ngay cả ở mức nỗ lực suy luận thấp. Những tiến bộ này cho thấy năng lực đa phương thức tích hợp mạnh hơn có thể là chìa khóa để nâng cao hiệu suất phân tích thường ngày trong phòng thí nghiệm ướt.

Một cạm bẫy phổ biến trong khoa học là diễn giải quá mức dữ liệu, nhất là do thiên kiến vốn dễ xuất hiện khi kiểm định một giả thuyết. Astra cho thấy khả năng tốt hơn trong việc nhận biết giới hạn của những gì dữ liệu thể hiện và tránh rút ra kết luận thiếu căn cứ.

Trong ví dụ này, GPT‑5.6 Sol phân loại các tế bào là đã chết dựa trên tín hiệu từ một thuốc nhuộm dùng để phát hiện tế bào chết. Tuy nhiên, bộ dò cũng có thể thu nhận ánh sáng từ một thuốc nhuộm thứ hai, nên chỉ riêng độ sáng không đủ để làm căn cứ cho kết luận đó. Astra nhận ra sự không rõ ràng này và đề nghị sử dụng đối chứng tốt hơn để tách biệt các tín hiệu.

Nghiên cứu khoa học mang tính đa phương thức cao, đòi hỏi phải liên tục diễn giải thông tin hình ảnh và đưa ra quyết định. Astra cho thấy sự cải thiện đáng kể trong xử lý dữ liệu đa phương thức dưới dạng ảnh và video, cũng như dữ liệu đầu ra thô từ giải trình tự, phép thử bằng máy đọc đĩa, ảnh hiển vi và đo tế bào dòng chảy.

Ở cấp độ cơ bản nhất, sự cải thiện này thể hiện ở khả năng nhận ra những chi tiết nhỏ hơn trong ảnh chụp khi làm thí nghiệm của GPT‑6 Astra, từ đó rút ra kết luận chính xác hơn, như trong ví dụ này. Tác vụ này yêu cầu các tác nhân rút ra kết luận từ một thí nghiệm tạo dòng DNA, trong đó đối chứng đóng vai trò thiết yếu. GPT‑5.6 Sol không thấy khuẩn lạc trên đĩa đối chứng âm và đưa ra kết luận dựa trên quan sát đó. GPT‑6 Astra nhận thấy nhãn trên đĩa ghi sai loại kháng sinh và đã đúng khi loại bỏ đĩa này khỏi các đối chứng đáng tin cậy.

Khi phân tích dữ liệu, các nhà khoa học phải luôn xét đến kiến thức sinh học ngầm và bối cảnh thí nghiệm để diễn giải đúng những gì dữ liệu thể hiện. Astra cho thấy khả năng tốt hơn trong việc ghi nhớ bối cảnh này và vận dụng xuyên suốt quá trình phân tích.

Một tác vụ trình bày chuỗi ảnh hiển vi trong đó các tế bào lúc rõ nét, lúc mất nét. Trong khi GPT‑5.6 Sol tìm cách giải thích việc các tế bào dường như biến mất bằng nguyên nhân sinh học, GPT‑6 Astra nhận ra chính xác đây là chồng ảnh theo trục z: một chuỗi ảnh chụp ở các độ sâu khác nhau.

Điểm đánh giá cao hơn chưa có nghĩa là mô hình có thể đưa ra nhận định đáng tin cậy trong phòng thí nghiệm. Những ví dụ về Astra này cho thấy giả định, câu trả lời kỳ vọng và nhãn được cung cấp có thể lấn át bằng chứng ra sao, cũng như vì sao một quan sát đúng ở bước trung gian vẫn có thể không định hướng được quyết định cuối cùng.

Astra để một giả định quen thuộc lấn át cách diễn giải được các đối chứng thí nghiệm củng cố. Mô hình phân biệt được hai nhóm băng của các mẫu khuẩn lạc, nhưng lại giả định rằng sản phẩm PCR lớn hơn sẽ cho thấy việc tạo dòng đã thành công. Dựa trên giả định đó, mô hình đề xuất các làn 4, 6, 7 và 8; trong khi phép so sánh với đối chứng ở đáp án tham chiếu lại chọn các làn 5, 9 và 10.

Astra xem nhẹ những quan sát mâu thuẫn với cách diễn giải mà mô hình thiên về. Mô hình kết luận rằng không bào, các khoang bên trong tế bào, thường tối hơn phần tế bào xung quanh, dù một số không bào trong cùng ảnh lại sáng hơn. Cả hai dạng hình ảnh đều quan trọng: thay đổi vị trí lấy nét của kính hiển vi có thể đảo ngược độ tương phản, nên các trường hợp tối hơn không đủ để xác lập một quy luật chung.

Các dấu đếm của Astra không tương ứng đáng tin cậy với từng khuẩn lạc: mô hình không phân biệt được các khuẩn lạc nằm sát nhau, bỏ sót khuẩn lạc nhìn thấy được và đánh dấu cả vùng thạch trống. Kết quả cuối cùng trên đĩa này là số đếm cao hơn khoảng 12% so với đáp án tham chiếu của bộ đánh giá.

Đếm khuẩn lạc không chính xác ảnh hưởng trực tiếp đến ước tính hiệu suất đưa DNA vào tế bào. Khi thể tích cấy trên đĩa và độ pha loãng được giữ cố định, việc đếm thừa làm tăng ước tính đó theo cùng tỷ lệ.

Muốn đẩy nhanh nghiên cứu sinh học, trước hết phải làm đúng công việc thường ngày. BioBasicsBench đưa những công việc đó thành mục tiêu cải thiện: diễn giải dữ liệu thực nghiệm thô, kiểm tra đối chứng và nhận biết khi kết luận không có đủ căn cứ. Tiến bộ ở các tác vụ này có thể giúp các nhà khoa học bớt thời gian xử lý sự cố và có thêm thời gian quyết định nên theo đuổi thí nghiệm nào tiếp theo. Theo dõi những năng lực này cũng sẽ giúp chúng tôi hiểu tác động của chúng đối với an toàn sinh học và an ninh sinh học.