איך מודדים את יכולתם של סוכני AI בעבודה מדעית שגרתית במעבדה רטובה

המשימה שלנו היא להבטיח שבינה מלאכותית כללית תועיל לאנושות כולה. במסגרת המשימה הזאת, אנו רוצים לעזור למדענים להאיץ את המחקר הביולוגי — מהבנת מחלות ועד לפיתוח טיפולים חדשים. כדי שסוכני AI יוכלו לתרום, עליהם לפרש באופן אמין את הראיות הניסיוניות שמדענים עובדים איתן מדי יום במעבדות רטובות, שבהן נערכים ניסויים בדגימות ביולוגיות. העבודה השגרתית במעבדה רטובה כוללת ניסויים שנכשלו, תמונות לא חד־משמעיות ותצפיות סותרות. מבחני הערכה קיימים, המבוססים על תרשימים ותמונות שנבחרו למאמרים מדעיים, עלולים להחמיץ את העמימות הזאת ואת הצורך באיתור בעיות ופתרונן. לכן אנו מציגים את BioBasicsBench, מבחן הערכה חדש שפותח עם Ligo, חברת ביוטכנולוגיה המתמקדת בתכנון אנזימים, כדי למדוד עד כמה סוכנים מצליחים בניתוח שגרתי במעבדה רטובה.

100 המשימות במבחן בודקות אם סוכנים יכולים לפרש נתונים ניסיוניים גולמיים, לזהות שגיאות ולהבחין מתי הראיות אינן מאפשרות להסיק מסקנה. חשוב לבצע את המשימות האלה נכון: פרשנות שגויה של תמונה או החמצת בעיה בבקרות המשמשות לבדיקת תוצאות הניסוי עלולות להוביל מדענים למסקנה שגויה ולהשקעת זמן בניסויים שלא יסייעו לענות על שאלת המחקר שלהם.

בהגדרה ״xhigh״, המאפשרת יותר reasoning לכל משימה, GPT‑6 Astra השיג בממוצע 66.7% מהניקוד האפשרי, לעומת 43.8% ל-GPT‑5.6 Sol. התוצאות מעידות על התקדמות בניתוח מעבדתי שגרתי, לצד מקום לשיפור נוסף בפרשנות תמונות, בבדיקת בקרות וביישום ההקשר הניסויי.

BioBasicsBench משתמש בראיות ניסיוניות גולמיות, מתמונות ג׳לים וצלחות עם מושבות ועד למיקרוסקופיה וקריאות ממכשירים.

BioBasicsBench כולל 100 משימות בחמישה תחומים של עבודה שגרתית במעבדה רטובה: שיטות לחקר חלבונים, דימות וציטומטריה, כימות ומבחנים מעבדתיים, שיטות לחקר חומצות גרעין ושיבוט מולקולרי. המשימות נעות מבקשות פשוטות, כמו קריאת המשקל המולקולרי של דגימת DNA בג׳ל, ועד לניתוח מפורט של מבחנים מעבדתיים. כולן עוסקות בעבודה שגרתית שמדענים במעבדות רטובות אמורים לבצע באופן אמין.

מדענים יצרו את המשימות על בסיס נתונים מניסויים שערכו בעצמם, ולכל שאלה צורפו קריטריונים לניקוד שכתבו מומחים. כל משימה עברה בדיקה פנימית בידי מדען ב-Ligo שלא כתב אותה, בדיקה חיצונית בידי מדען בעל תואר דוקטור העובד במעבדה רטובה, ולבסוף בדיקה פנימית נוספת.

הסוכנים מחזירים תשובה מובנית עם המסקנה, המדידה או ההמלצה המבוקשת, ובמידת הצורך גם נימוקים תומכים. התשובות מקבלות ניקוד לפי קריטריונים נפרדים במחוון, וכך מבחן ההערכה יכול להבחין בין מסקנה נכונה לניתוח נכון חלקית. רוב המשימות בוחנות כמה מיומנויות יחד, ובהן ידע ביולוגי, פרשנות של תמונות ונתונים אחרים, זיהוי שגיאות והבנת פרוטוקולים.

הקלטים משמרים את צורות הראיות שמדענים עובדים איתן: תמונות ג׳לים ותספיגים, תצלומי צלחות, סדרות תמונות מיקרוסקופיה, קריאות ריצוף, נתונים שיוצאו מקוראי פלטות וסרטוני עבודה במעבדה. משימה יכולה לכלול כמה סוגי נתונים. דפי עזר, כמו תרשימי סמני גודל ומפות פלסמידים, מסייעים בפירוש הראיות הניסיוניות.

מדענים כתבו את המשימות על בסיס נתונים מניסויים שערכו בעצמם, וצירפו לראיות הניסיוניות שאלה ומחוון ניקוד שכתבו מומחים. כל משימה עברה בדיקה פנימית בידי מדען ב-Ligo שלא כתב אותה, בדיקה חיצונית בידי מדען בעל תואר דוקטור העובד במעבדה רטובה, ולבסוף בדיקה פנימית נוספת. הבודקים בחנו את הפרומפט, הראיות הניסיוניות, המחוון, הערות המחבר וניסיון מענה של מודל שקיבל ציון.

התשובות מקבלות ציון לפי מחוון המשימה, המקצה ניקוד לכל קריטריון בנפרד. בהתאם למשימה, הקריטריונים בוחנים את המסקנה, התוצאות המספריות, הנימוקים התומכים או ההכרה בכך שהראיות אינן מספיקות.

הערכנו שבעה מודלים באמצעות BioBasicsBench: ‏GPT‑5.2, ‏GPT‑5.4, ‏GPT‑5.5, ‏GPT‑5.6 Sol, ‏GPT‑6.1 Sol, ‏GPT‑6 Luna ו-GPT‑6 Astra. ההערכה כוללת 37 שילובים של מודל ורמת מאמץ reasoning, עם חמישה ניסיונות בכל אחת מ-100 המשימות לכל שילוב, ובסך הכול 18,500 תוצאות.

אנו מדווחים על תגמול ממוצע: הציון הממוצע למשימה, כאחוז מהניקוד האפשרי. פסי השגיאה מציגים רווחי סמך של 95%, שחושבו באמצעות דגימה חוזרת של משימות שלמות, תוך שמירת חמשת הניסיונות של כל משימה יחד.

GPT‑6 Astra מציג שיפור ניכר לעומת GPT‑5.6 Sol, גם ברמת מאמץ reasoning נמוכה. השיפורים האלה מצביעים על כך שיכולות רב־מודאליות מובנות חזקות יותר עשויות להיות המפתח לשיפור הביצועים בניתוח השגרתי במעבדות רטובות.

מלכודת נפוצה במדע היא פרשנות יתר של הנתונים, במיוחד לנוכח ההטיה האופיינית לבדיקת השערות. Astra הפגין יכולת טובה יותר לזהות את גבולות המידע שהנתונים מספקים ולהימנע מהסקת מסקנות לא מבוססות.

בדוגמה זו, GPT‑5.6 Sol סיווג תאים כמתים על סמך האות מצבע המשמש לזיהוי תאים מתים. אבל הגלאי היה יכול לקלוט גם אור מצבע שני, ולכן הבהירות לבדה לא הצדיקה את המסקנה הזאת. Astra זיהה את העמימות הזאת והצביע על הצורך בבקרות טובות יותר להפרדה בין האותות.

מחקר מדעי משלב מידע מסוגים רבים, ודורש פרשנות חזותית וקבלת החלטות באופן מתמיד. Astra הציג שיפור משמעותי בטיפול בנתונים רב־מודאליים שניתנו כתצלומים וסרטונים, וכן כפלטים גולמיים מריצוף, מבדיקות בקורא פלטות, ממיקרוסקופיה ומציטומטריית זרימה.

ברמה הבסיסית ביותר, השיפור ניכר ביכולתו של GPT‑6 Astra להבחין בפרטים עדינים יותר בתמונות שצולמו במהלך ניסויים, וכך להסיק מסקנות מדויקות יותר, כפי שמוצג בדוגמה זו. במשימה זו התבקשו הסוכנים להסיק מסקנות מניסוי שיבוט DNA, שבו לבקרות יש חשיבות מכרעת. GPT‑5.6 Sol לא ראה מושבות בצלחת הבקרה השלילית וביסס את מסקנותיו על התצפית הזאת. GPT‑6 Astra הבחין שעל הצלחת צוין סוג אנטיביוטיקה שגוי, ובצדק פסל אותה כבקרה אמינה.

כדי לפרש נכון את הנתונים, מדענים צריכים להביא בחשבון ידע ביולוגי סמוי ואת ההקשר הניסויי לאורך הניתוח. Astra הפגין יכולת משופרת לשמור על ההקשר הזה וליישם אותו לאורך הניתוח.

באחת המשימות הוצגו תאים שנכנסים למיקוד ויוצאים ממנו בסדרה של תמונות מיקרוסקופ. בעוד GPT‑5.6 Sol חיפש הסבר ביולוגי להיעלמותם לכאורה של התאים, GPT‑6 Astra זיהה נכון שמדובר בסדרת תמונות בציר Z: תמונות שצולמו בעומקים שונים.

ציונים גבוהים יותר במבחני הערכה עדיין אינם מעידים שמודלים יכולים להפעיל שיקול דעת אמין במעבדה. הדוגמאות האלה מ-Astra מראות כיצד הנחות, תשובות צפויות ותוויות שסופקו עלולות לגבור על הראיות, וכיצד תצפית ביניים נכונה לא תמיד מנחה את ההחלטה הסופית.

Astra נותן להנחה מוכרת לגבור על הפרשנות הנתמכת בבקרות הניסוי. הוא מצליח להבחין בין שתי קבוצות הפסים של המושבות, אך מניח שתוצר PCR גדול יותר מעיד על שיבוט מוצלח. על סמך ההנחה הזאת הוא מציע את נתיבים 4, 6, 7 ו-8; לעומת זאת, ההשוואה לבקרות בתשובת הייחוס מובילה לבחירת נתיבים 5, 9 ו-10.

Astra מפחית ממשקלן של תצפיות הסותרות את הפרשנות המועדפת עליו. הוא מסיק שחלוליות, מדורים בתוך תאים, כהות בדרך כלל מסביבתן בתא, אף שחלקן נראות בהירות יותר באותה תמונה. שני המופעים חשובים: שינוי המיקוד של המיקרוסקופ יכול להפוך את הניגודיות, ולכן הדוגמאות הכהות יותר אינן מבססות כלל גורף.

סימוני הספירה של Astra אינם תואמים באופן אמין למושבות נפרדות: הוא אינו מצליח להבחין בין מושבות קרובות, מחמיץ מושבות נראות לעין ומסמן אגר ריק. התוצאה הכוללת בצלחת הזאת היא ספירת יתר של כ-12% ביחס לספירת הייחוס במבחן.

ספירת מושבות לא מדויקת משפיעה ישירות על אומדן היעילות של החדרת DNA לתאים. כאשר נפח הזריעה והמיהול קבועים, ספירת יתר מגדילה את האומדן באותו שיעור.

כדי להאיץ את המחקר הביולוגי, צריך לבצע את העבודה היומיומית נכון. BioBasicsBench מציב את העבודה הזאת כיעד לשיפור: פירוש נתונים ניסיוניים גולמיים, בדיקת בקרות וזיהוי מצבים שבהם המסקנה אינה נתמכת בראיות. התקדמות במשימות האלה עשויה לעזור למדענים להקדיש פחות זמן לאיתור בעיות ופתרונן, ויותר זמן להחלטה אילו ניסויים לבצע בהמשך. מעקב אחר היכולות האלה יעזור לנו גם להבין את השלכותיהן על בטיחות ביולוגית וביטחון ביולוגי.