วัดความสามารถของเอเจนต์ AI ในการทำงานวิทยาศาสตร์ในห้องแล็บชีววิทยา

เรามุ่งมั่นทำให้ปัญญาประดิษฐ์ทั่วไปสร้างประโยชน์ให้กับมนุษยชาติทุกคน และส่วนหนึ่งของพันธกิจนี้คือการช่วยให้นักวิทยาศาสตร์พัฒนางานวิจัยทางชีววิทยาได้รวดเร็วยิ่งขึ้น ตั้งแต่การทำความเข้าใจโรคไปจนถึงการพัฒนาวิธีรักษาใหม่ๆ เอเจนต์ AI จะเข้ามามีส่วนช่วยได้ก็ต่อเมื่อสามารถตีความหลักฐานจากการทดลองที่นักวิทยาศาสตร์ต้องใช้ในห้องแล็บชีววิทยาได้อย่างน่าเชื่อถือ ซึ่งเป็นสถานที่ที่นักวิทยาศาสตร์ทำการทดลองกับตัวอย่างทางชีวภาพอยู่เป็นประจำ แต่การทำงานในห้องแล็บไม่ได้ราบรื่นเสมอไป นักวิทยาศาสตร์ต้องรับมือทั้งกับการทดลองที่ล้มเหลว ภาพที่ตีความได้หลายทาง และผลการสังเกตที่ขัดแย้งกัน ชุดทดสอบที่มีอยู่ในปัจจุบันมักใช้แผนภูมิและภาพที่คัดเลือกมาเพื่อตีพิมพ์ในบทความวิชาการ จึงอาจไม่ครอบคลุมความคลุมเครือและการแก้ไขปัญหาที่เกิดขึ้นจริงในการทดลอง ด้วยเหตุนี้ เราจึงเปิดตัว BioBasicsBench ชุดทดสอบใหม่ที่พัฒนาร่วมกับ Ligo บริษัทเทคโนโลยีชีวภาพที่มุ่งเน้นการออกแบบเอนไซม์ เพื่อวัดความสามารถของเอเจนต์ในการวิเคราะห์งานทดลองทั่วไปในห้องแล็บชีววิทยา

โจทย์ทั้ง 100 ข้อในชุดทดสอบนี้ใช้ประเมินว่าเอเจนต์สามารถตีความข้อมูลดิบจากการทดลอง ตรวจพบข้อผิดพลาด และแยกแยะได้หรือไม่ว่าหลักฐานที่มีไม่เพียงพอต่อการสรุปผล ความสามารถเหล่านี้มีความสำคัญ เพราะการตีความภาพผิดพลาดหรือมองข้ามปัญหาของชุดควบคุมที่ใช้ตรวจสอบผลการทดลอง อาจทำให้นักวิทยาศาสตร์สรุปผลผิดและเสียเวลาไปกับการทดลองที่ไม่ช่วยให้ได้คำตอบในสิ่งที่ต้องการศึกษา

เมื่อใช้การตั้งค่า ‘xhigh’ ซึ่งเปิดให้โมเดลใช้การให้เหตุผลกับแต่ละโจทย์ได้มากขึ้น GPT‑6 Astra ทำคะแนนได้เฉลี่ย 66.7% ของคะแนนเต็ม เทียบกับ GPT‑5.6 Sol ที่ได้ 43.8% ผลการประเมินนี้แสดงให้เห็นถึงความก้าวหน้าในการวิเคราะห์งานทั่วไปในห้องแล็บ แต่ยังมีโอกาสพัฒนาความสามารถเพิ่มเติม ทั้งในด้านการตีความภาพ การตรวจสอบชุดควบคุมการทดลอง และการนำบริบทของการทดลองมาประกอบการวิเคราะห์

BioBasicsBench ใช้หลักฐานดิบจากการทดลอง ตั้งแต่ภาพเจลและจานเพาะโคโลนี ไปจนถึงภาพจากกล้องจุลทรรศน์และค่าที่อ่านได้จากเครื่องมือ

BioBasicsBench ประกอบด้วยโจทย์ 100 ข้อ ครอบคลุมงานทั่วไปในห้องแล็บชีววิทยา 5 ด้าน ได้แก่ เทคนิคการวิเคราะห์โปรตีน การถ่ายภาพและการวิเคราะห์เซลล์ การวัดปริมาณและการทดสอบ เทคนิคการวิเคราะห์กรดนิวคลีอิก และการโคลนโมเลกุล โจทย์มีตั้งแต่งานง่ายๆ เช่น การอ่านค่าน้ำหนักโมเลกุลของตัวอย่าง DNA จากภาพเจล ไปจนถึงการวิเคราะห์ผลการทดสอบอย่างละเอียด แต่ทั้งหมดล้วนเป็นงานทั่วไปที่นักวิทยาศาสตร์ในห้องแล็บชีววิทยาควรสามารถทำได้อย่างถูกต้องและเชื่อถือได้

โจทย์แต่ละข้อสร้างขึ้นโดยนักวิทยาศาสตร์จากข้อมูลการทดลองจริงของตนเอง พร้อมเกณฑ์การให้คะแนนที่ผู้เชี่ยวชาญกำหนด โดยผ่านการตรวจทาน 3 รอบ เริ่มจากนักวิทยาศาสตร์ของ Ligo ที่ไม่ได้เป็นผู้เขียนโจทย์ ตามด้วยนักวิทยาศาสตร์ระดับปริญญาเอกที่ทำงานในห้องแล็บชีววิทยา และการตรวจทานภายในอีกครั้งเป็นขั้นตอนสุดท้าย

เอเจนต์ต้องตอบในรูปแบบที่กำหนดไว้ โดยระบุข้อสรุป ผลการวัด หรือคำแนะนำตามที่โจทย์ต้องการ พร้อมอธิบายเหตุผลประกอบในกรณีที่จำเป็น จากนั้นจะประเมินคำตอบตามเกณฑ์การให้คะแนนแต่ละข้อ ทำให้ BioBasicsBench สามารถแยกแยะได้ระหว่างคำตอบที่สรุปผลได้ถูกต้องกับคำตอบที่วิเคราะห์ได้ถูกต้องเพียงบางส่วน โจทย์ส่วนใหญ่ประเมินความสามารถหลายด้านร่วมกัน ทั้งความรู้ทางชีววิทยา การตีความภาพและข้อมูลรูปแบบอื่นๆ การตรวจหาข้อผิดพลาด และความเข้าใจขั้นตอนการทดลอง

ข้อมูลที่ป้อนให้เอเจนต์ยังคงอยู่ในรูปแบบเดียวกับหลักฐานที่นักวิทยาศาสตร์ใช้จริง ไม่ว่าจะเป็นภาพเจลและบล็อต ภาพถ่ายจานเพาะเชื้อ ชุดภาพจากกล้องจุลทรรศน์ที่ถ่ายจากระดับความลึกต่าง ๆ ข้อมูลจากการอ่านลำดับเบส ไฟล์ข้อมูลที่ส่งออกจากเครื่องอ่านไมโครเพลต และวิดีโอการทำงานในห้องแล็บ โจทย์แต่ละข้ออาจมีข้อมูลหลายประเภทประกอบกัน นอกจากนี้ยังมีเอกสารอ้างอิง เช่น แผนภูมิแสดงขนาดโมเลกุลมาตรฐานและแผนที่พลาสมิด เพื่อช่วยในการตีความหลักฐานจากการทดลอง

โจทย์ทดสอบสร้างขึ้นโดยนักวิทยาศาสตร์จากข้อมูลการทดลองของตนเอง โดยแต่ละข้อประกอบด้วยหลักฐานจากการทดลอง คำถาม และเกณฑ์การให้คะแนนที่ผู้เชี่ยวชาญเขียนขึ้น โจทย์ทุกข้อต้องผ่านการตรวจทาน 3 รอบ เริ่มจากนักวิทยาศาสตร์ของ Ligo ที่ไม่ได้เขียนโจทย์ข้อนั้น ตามด้วยนักวิทยาศาสตร์ระดับปริญญาเอกภายนอกที่ทำงานในห้องแล็บชีววิทยา และการตรวจทานภายในรอบสุดท้าย โดยผู้ตรวจทานจะพิจารณาโจทย์ หลักฐานจากการทดลอง เกณฑ์การให้คะแนน บันทึกจากผู้สร้างโจทย์ และคำตอบของโมเดลที่ได้รับการประเมินแล้ว

คำตอบจะได้รับการประเมินตามเกณฑ์การให้คะแนนของแต่ละโจทย์ โดยพิจารณาและให้คะแนนแยกตามเกณฑ์ย่อยแต่ละข้อ ซึ่งอาจครอบคลุมความถูกต้องของข้อสรุป ผลการคำนวณที่เป็นตัวเลข เหตุผลประกอบ หรือความสามารถในการระบุว่าหลักฐานที่มีไม่เพียงพอต่อการสรุปผล ทั้งนี้ขึ้นอยู่กับลักษณะของโจทย์

เราใช้ BioBasicsBench ประเมินโมเดล 7 รุ่น ได้แก่ GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna และ GPT‑6 Astra ครอบคลุมการตั้งค่าโมเดลและระดับการใช้เหตุผล 37 รูปแบบ โดยแต่ละรูปแบบทดสอบโจทย์ทั้ง 100 ข้อ ข้อละ 5 ครั้ง รวมเป็นผลการทดสอบ 18,500 ครั้ง

เรารายงานผลเป็นคะแนนรางวัลเฉลี่ย (mean reward) ซึ่งคำนวณจากคะแนนเฉลี่ยของแต่ละโจทย์ โดยแสดงเป็นเปอร์เซ็นต์ของคะแนนเต็ม ส่วนแถบแสดงค่าความคลาดเคลื่อนแสดงช่วงความเชื่อมั่น 95% ซึ่งคำนวณด้วยการสุ่มตัวอย่างซ้ำในระดับโจทย์ โดยนับผลการทดสอบทั้ง 5 ครั้งของแต่ละโจทย์เป็นกลุ่มเดียวกัน

GPT‑6 Astra มีประสิทธิภาพสูงกว่า GPT‑5.6 Sol อย่างชัดเจน แม้จะใช้ระดับการให้เหตุผลต่ำก็ตาม ผลลัพธ์ที่ดีขึ้นนี้บ่งชี้ว่า ความสามารถในการประมวลผลข้อมูลหลายรูปแบบที่มากับโมเดลและมีประสิทธิภาพสูงขึ้น อาจเป็นปัจจัยสำคัญที่ช่วยให้โมเดลวิเคราะห์ผลการทดลองทั่วไปในห้องปฏิบัติการชีววิทยาได้ดีขึ้น

ข้อผิดพลาดที่พบบ่อยในงานวิทยาศาสตร์คือการตีความข้อมูลเกินกว่าที่หลักฐานรองรับ โดยเฉพาะเมื่อการทดสอบสมมติฐานอาจมีอคติเข้ามาเกี่ยวข้อง Astra แสดงให้เห็นถึงความสามารถที่ดีขึ้นในการประเมินว่าข้อมูลสามารถบอกอะไรได้บ้างและมีข้อจำกัดเพียงใด โดยไม่ด่วนสรุปในสิ่งที่ไม่มีหลักฐานรองรับ

ในตัวอย่างนี้ GPT‑5.6 Sol ระบุว่าเซลล์ตายแล้วโดยอาศัยสัญญาณจากสีย้อมที่ใช้ตรวจหาเซลล์ตาย แต่เนื่องจากตัวตรวจจับอาจรับแสงจากสีย้อมอีกชนิดหนึ่งได้ด้วย จึงไม่สามารถใช้เพียงความสว่างของสัญญาณมายืนยันว่าเซลล์ตายแล้วได้ Astra มองเห็นความกำกวมนี้และแนะนำให้ใช้ชุดควบคุมที่เหมาะสมยิ่งขึ้นเพื่อแยกสัญญาณจากสีย้อมทั้งสองชนิดออกจากกัน

การวิจัยทางวิทยาศาสตร์ต้องอาศัยข้อมูลหลากหลายรูปแบบ และจำเป็นต้องตีความข้อมูลภาพและตัดสินใจอยู่ตลอดเวลา Astra แสดงให้เห็นถึงพัฒนาการอย่างชัดเจนในการวิเคราะห์ข้อมูลหลายรูปแบบ ทั้งภาพถ่าย วิดีโอ และข้อมูลดิบจากการหาลำดับเบส การทดสอบด้วยเครื่องอ่านไมโครเพลต การตรวจด้วยกล้องจุลทรรศน์ และโฟลว์ไซโตเมทรี

ความสามารถที่พัฒนาขึ้นนี้เห็นได้ชัดจากการที่ GPT‑6 Astra สามารถสังเกตรายละเอียดเล็ก ๆ น้อย ๆ ในภาพถ่ายระหว่างการทดลองได้ดีขึ้น จึงนำไปสู่ข้อสรุปที่แม่นยำยิ่งขึ้น ดังเช่นในตัวอย่างนี้ ซึ่งเอเจนต์ต้องวิเคราะห์ผลการทดลองโคลน DNA โดยอาศัยชุดควบคุมการทดลองเป็นองค์ประกอบสำคัญ GPT‑5.6 Sol พบว่าไม่มีโคโลนีบนจานเพาะเชื้อชุดควบคุมเชิงลบ จึงใช้ข้อสังเกตนี้เป็นหลักในการสรุปผล แต่ GPT‑6 Astra สังเกตเห็นว่าจานเพาะเชื้อมีป้ายระบุชื่อยาปฏิชีวนะผิดชนิด จึงตัดสินได้อย่างถูกต้องว่าไม่สามารถใช้จานดังกล่าวเป็นชุดควบคุมที่เชื่อถือได้

การตีความข้อมูลทางวิทยาศาสตร์ให้ถูกต้องนั้น นักวิทยาศาสตร์ต้องอาศัยทั้งความรู้ทางชีววิทยาที่สั่งสมจากประสบการณ์และความเข้าใจบริบทของการทดลอง โดยคำนึงถึงสิ่งเหล่านี้ตลอดการวิเคราะห์ข้อมูล Astra แสดงให้เห็นถึงความสามารถที่ดีขึ้นในการจดจำบริบทดังกล่าวและนำมาใช้ประกอบการวิเคราะห์ได้อย่างต่อเนื่อง

ในโจทย์หนึ่ง เซลล์ในภาพจากกล้องจุลทรรศน์ปรากฏชัดบ้าง พร่ามัวบ้าง จนดูเหมือนหายไปในบางภาพ GPT‑5.6 Sol พยายามอธิบายปรากฏการณ์นี้ด้วยเหตุผลทางชีววิทยา ขณะที่ GPT‑6 Astra เข้าใจได้อย่างถูกต้องว่าเป็นภาพชุด z-stack ที่ถ่ายจากระดับความลึกต่างๆ

แม้โมเดลจะทำคะแนนในชุดทดสอบได้สูงขึ้น แต่ก็ยังไม่ได้หมายความว่าจะสามารถตัดสินใจเกี่ยวกับงานในห้องแล็บได้อย่างน่าเชื่อถือ ตัวอย่างข้อผิดพลาดของ Astra เหล่านี้แสดงให้เห็นว่า ข้อสันนิษฐาน คำตอบที่คาดหวัง และข้อมูลบนป้ายกำกับอาจมีอิทธิพลเหนือหลักฐานจากการทดลองได้อย่างไร รวมถึงกรณีที่โมเดลสังเกตข้อมูลได้ถูกต้องระหว่างการวิเคราะห์ แต่กลับไม่ได้นำข้อมูลนั้นมาใช้ประกอบการตัดสินใจในขั้นสุดท้าย

Astra ให้น้ำหนักกับข้อสันนิษฐานที่คุ้นเคยมากกว่าการตีความที่มีผลจากชุดควบคุมการทดลองรองรับ แม้ Astra จะแยกแยะแถบ DNA ของโคโลนีทั้งสองกลุ่มได้ แต่กลับสันนิษฐานว่าผลิตภัณฑ์ PCR ที่มีขนาดใหญ่กว่าบ่งชี้ว่าการโคลน DNA สำเร็จ จึงเสนอให้เลือกช่องเจลหมายเลข 4, 6, 7 และ 8 ตามข้อสันนิษฐานดังกล่าว ขณะที่การเปรียบเทียบกับชุดควบคุมตามข้อมูลอ้างอิงระบุว่าควรเลือกช่องเจลหมายเลข 5, 9 และ 10

Astra ลดความสำคัญของหลักฐานที่ขัดแย้งกับแนวทางการตีความที่ตนเองเลือก โดยลงข้อสรุปว่าแวคิวโอล ซึ่งเป็นส่วนประกอบภายในเซลล์ โดยทั่วไปมีลักษณะมืดกว่าบริเวณโดยรอบ แม้แวคิวโอลบางส่วนในภาพเดียวกันจะมีลักษณะสว่างกว่าก็ตาม ข้อมูลทั้งสองลักษณะมีความสำคัญต่อการตีความ เนื่องจากการเปลี่ยนระนาบโฟกัสของกล้องจุลทรรศน์อาจทำให้ความแตกต่างระหว่างส่วนมืดและส่วนสว่างกลับด้านได้ ดังนั้น ตัวอย่างที่แวคิวโอลมีลักษณะมืดกว่าจึงไม่เพียงพอที่จะนำไปสรุปเป็นกฎทั่วไป

เครื่องหมายนับโคโลนีของ Astra ไม่ได้ตรงกับโคโลนีแต่ละโคโลนีเสมอไป โดย Astra แยกโคโลนีที่อยู่ชิดกันไม่ได้ มองข้ามโคโลนีที่เห็นได้ชัด และทำเครื่องหมายนับในบริเวณวุ้นอาหารที่ไม่มีโคโลนี ส่งผลให้ Astra นับจำนวนโคโลนีบนจานเพาะเชื้อนี้มากเกินไปประมาณ 12% เมื่อเทียบกับข้อมูลอ้างอิงของชุดทดสอบ

การนับจำนวนโคโลนีผิดพลาดส่งผลโดยตรงต่อการประเมินประสิทธิภาพในการนำ DNA เข้าสู่เซลล์ หากปริมาตรตัวอย่างที่นำไปเพาะบนจานและอัตราการเจือจางคงที่ การนับจำนวนโคโลนีมากเกินไปก็จะทำให้ค่าประสิทธิภาพที่ประเมินได้สูงเกินจริงในสัดส่วนเดียวกัน

งานวิจัยทางชีววิทยาจะก้าวหน้าได้เร็วขึ้นก็ต่อเมื่องานพื้นฐานในห้องแล็บทำได้อย่างถูกต้อง BioBasicsBench จึงมุ่งพัฒนาความสามารถเหล่านี้ ทั้งการตีความข้อมูลดิบจากการทดลอง การตรวจสอบชุดควบคุม และการรู้ว่าเมื่อใดหลักฐานยังไม่เพียงพอต่อการสรุปผล ความก้าวหน้าในด้านเหล่านี้อาจช่วยให้นักวิทยาศาสตร์ใช้เวลาตรวจสอบและแก้ไขปัญหาน้อยลง และมีเวลามากขึ้นในการพิจารณาว่าควรทำการทดลองใดต่อไป นอกจากนี้ การติดตามพัฒนาการของความสามารถเหล่านี้ยังช่วยให้เราเข้าใจผลกระทบที่อาจมีต่อความปลอดภัยทางชีวภาพและความมั่นคงทางชีวภาพได้ดียิ่งขึ้น