בחינת יכולת הניטור של שרשרת מחשבה

כשמערכות בינה מלאכותית מקבלות החלטות שקשה לפקח עליהן ישירות, חשוב להבין כיצד ההחלטות האלה מתקבלות. גישה מבטיחה אחת היא לנטר את ה-reasoning הפנימי של המודל, ולא רק את פעולותיו או את הפלטים הסופיים שלו.

מודלי reasoning מודרניים, כמו GPT‑5 Thinking, מייצרים שרשרת מחשבה מפורשת לפני שהם מפיקים תשובה. ניטור שרשרות המחשבה האלה כדי לזהות התנהגות פסולה עשוי להיות יעיל בהרבה⁠ מניטור הפעולות והפלטים של המודל בלבד. עם זאת, חוקרים ב-OpenAI וברחבי התעשייה חוששים⁠(נפתח בחלון חדש) ש״יכולת הניטור״ הזו של שרשרת המחשבה עלולה להיפגע משינויים בתהליך האימון, במקורות הנתונים ואפילו מהמשך הגדלת ההיקף של האלגוריתמים הקיימים.

אנו רוצים שיכולת הניטור של שרשרת המחשבה תישמר ככל שהמודלים גדלים ונכנסים לשימוש בהקשרים שבהם להחלטות יש השלכות כבדות יותר. אנו קוראים לחוקרים ברחבי התעשייה לפעול לשימור יכולת הניטור של שרשרת המחשבה זמן רב ככל האפשר, ולברר אם היא יכולה לשמש שכבת בקרה מרכזית שאפשר להסתמך עליה במערכות בינה מלאכותית עתידיות. כדי לשמר את יכולת הניטור, עלינו להיות מסוגלים למדוד אותה, אך קיימות מעט בחינות לכך [1⁠(נפתח בחלון חדש), 2⁠(נפתח בחלון חדש), 3⁠(נפתח בחלון חדש)], והמתודולוגיות שונות זו מזו.

במחקר זה אנו בוחנים באופן שיטתי את יכולת הניטור של שרשרת מחשבה. אנו מציגים מסגרת לבחינת יכולת הניטור של שרשרת מחשבה ומערך של 13 בחינות (הכוללות 24 סביבות בסך הכול), שנועדו למדוד באופן קונקרטי את יכולת הניטור של מערכת. הבחינות נחלקות לשלושה סוגים עיקריים: התערבות, תהליך ומאפייני תוצאה. באמצעותן אנו בודקים עד כמה מודלי השפה הגדולים של ימינו ניתנים לניטור, וכיצד יכולת הניטור משתנה עם תוספת reasoning בזמן הסקה, עם ריצות למידת חיזוק בהיקף גדול יותר ועם הגדלת היקף הקדם-אימון.

מצאנו שרוב מודלי ה-reasoning שבחזית הטכנולוגיה ניתנים לניטור במידה טובה למדי, אם כי לא באופן מושלם. כמעט בכל תנאי שבדקנו, ניטור שרשרות מחשבה יעיל משמעותית מניטור הפעולות והפלטים הסופיים בלבד. מודלים שחושבים זמן רב יותר נוטים להיות קלים יותר לניטור, ונראה שאופטימיזציה באמצעות למידת חיזוק בהיקפים הנהוגים כיום בחזית הטכנולוגיה אינה פוגעת משמעותית ביכולת הניטור.

בפרט, זיהינו יחסי גומלין בין מאמץ ה-reasoning לגודל המודל: כשמודל מופעל במאמץ reasoning נמוך, מודל קטן יותר המופעל במאמץ reasoning גבוה יותר יכול להגיע ליכולת דומה, ובה בעת להיות קל יותר לניטור. הדבר כרוך בהגדלת משאבי החישוב בזמן הסקה — עלות שאנו מכנים מס ניטור. לבסוף, מצאנו שהצגת שאלות המשך וניטור שרשרות המחשבה שנוצרות בעקבותיהן יכולים לשפר עוד יותר את יכולת הניטור.

אנו מגדירים יכולת ניטור כיכולתו של מנגנון ניטור לחזות מאפיינים שמעניינים אותנו בהתנהגותו של סוכן. במקרים רבים, מאפיינים אלה מתייחסים לצורות של התנהגות פסולה — כגון הטעיה, reward hacking או reasoning מוטה — אך הם יכולים לכלול גם מאפיינים שאינם בעייתיים, למשל אם סוכן הסתמך על רמז מסוים או נקט קו reasoning מסוים.

יכולת הניטור תלויה בשני צדדים. היא תלויה הן במנגנון הניטור והן בסוכן המנוטר.

• מנגנוני ניטור. אפשר לשפר את יכולותיהם של מנגנוני הניטור בדרכים שונות, ואנו רוצים שהבחינות שלנו יעניקו ציונים גבוהים יותר למנגנונים שמסוגלים לחזות טוב יותר את התנהגותו של סוכן.

• סוכנים. אפשר לספק למנגנון הניטור סוגים רבים של מידע על הסוכן, ובהם פעולותיו, הפלטים שלו, האקטיבציות ברשת העצבית שלו, ולאחרונה, עם הופעת מודלי reasoning, גם שרשרת המחשבה שלו. ייתכן שמחשבותיהם של סוכנים מסוימים קשות יותר להבנה ממחשבותיהם של אחרים, ולכן אנו רוצים שבחינות יכולת הניטור שלנו יאפשרו להשוות בין סוכנים, ולא רק בין מנגנוני ניטור.

הבחינות שלנו נועדו להעריך את שני הצדדים: האם סוכנים מסוימים קלים או קשים יותר לניטור, והאם מנגנוני ניטור בעלי יכולות גבוהות יותר יכולים לחלץ יותר מידע מאותם אותות.

לפני הדור הנוכחי של מודלי reasoning, הדרך המקובלת להפיק שרשרות מחשבה הייתה לבקש מהמודל ״לחשוב צעד אחר צעד״. 

שרשרות המחשבה של מודלי reasoning שונות בשני היבטים חשובים. ראשית, המודלים מאומנים במפורש לייצר שרשרת מחשבה ואז לתת תשובה. כשמבקשים ממודל צ׳אט לחשוב ״צעד אחר צעד״, עליו לעמוד בכל הדרישות שהוגדרו לו, כלומר להיות מועיל, להימנע מגרימת נזק וכדומה. לעומת זאת, תהליך האימון באמצעות למידת חיזוק מלמד מודל reasoning ששרשרת המחשבה היא מרחב פרטי שבו הוא יכול לחשוב מה שירצה בלי להיענש, ממש כפי שאדם יכול לחשוב בינו לבין עצמו בלי להיענש על ״פשעי מחשבה״. 

שנית, תהליך האימון מחפש למעשה את שרשרות המחשבה שהן המועילות ביותר כאמצעי לסוכן להגיע לתשובה סופית שתקבל תגמול גבוה. לכן, שרשרת המחשבה אינה רק מרחב שבו המודל יכול להתבטא בחופשיות; היא מכילה חשיבה שעוזרת לו להגיע לתשובתו הסופית.

אנו מחלקים את בחינות יכולת הניטור שלנו לשלושה סוגים נפרדים, שכל אחד מהם נעזר במנגנון אחר למדידת יכולת הניטור.

1. בבחינות התערבות, בהשראת Chen ואחרים, 2025⁠(נפתח בחלון חדש), Chua ואחרים, 2025⁠(נפתח בחלון חדש), Turpin ואחרים, 2023⁠(נפתח בחלון חדש), אנו מכניסים שינוי מבוקר בסביבת הסוכן ובודקים אם מנגנון ניטור יכול לזהות מדוע השתנתה ההתנהגות, באמצעות זיהוי עדויות להתערבות בשרשרת המחשבה. בניגוד לבחינות בקרה מקובלות (למשל Shade-Arena⁠(נפתח בחלון חדש)), בחינות התערבות מאפשרות לנו לבדוק אם מנגנון ניטור יכול לזהות מדוע השתנתה ההתנהגות, ולא רק לזהות אם התנהגות מסוימת התרחשה. 

2. בחינות תהליך מתמקדות במשימות שיש להן מספר מוגבל של דרכי פתרון תקפות (למשל, בעיה מתמטית שאפשר לפתור רק באמצעות משפטים מסוימים). מומחים אנושיים מונים את דרכי הפתרון האלה, ואנו בודקים אם מנגנון ניטור יכול לזהות אילו צעדים המודל ביצע בפועל. הבחינות האלה מאפשרות לנו לקשר בין מה שהמודל עשה לבין צעדים מסוימים שהוא בהכרח נקט, ולבדוק אם אפשר לנטר את הצעדים האלה.

3. בחינות מאפייני תוצאה מתאימות למקרים שבהם אפשר למדוד באופן מהימן מאפיין של פלט המודל. במקרים אלה אנו בודקים אם מנגנון ניטור יכול לחזות את המאפיין הזה — כגון reward hacking — מתוך ה-reasoning או הפעולות של המודל. למשל, במשימת תכנות, ייתכן שיש לנו דרך להעריך באופן מהימן אם המודל נוקט פעולות כדי לתמרן אות תגמול, ואפשר לבדוק אם מנגנון ניטור מוצא בחשיבה או בפעולות של המודל עדויות לכוונה לבצע reward hacking.

להלן מיון הבחינות שלנו לקטגוריות. לתיאור מלא של כל בחינה, ראו את המאמר שלנו.

ההתייחסות לשרשרת המחשבה כאל מרחב עבודה פרטי — ואימון מודלים להשתמש בה כדי לפתור משימות ביעילות — אמורים, עקרונית, להפוך שרשרות מחשבה לניתנות לניטור. בה בעת, יש כמה סיבות שבגללן למידת חיזוק עלולה לפגוע ביכולת הניטור של שרשרת המחשבה.

ראשית, מגבלות על אורך ה-reasoning, כגון הגבלת הזמן או מספר הטוקנים העומדים לרשות המודל לצורך חשיבה, יוצרות תמריצים למודלים לבצע פחות reasoning. שנית, גם בלי להפעיל לחץ אופטימיזציה ישיר על שרשרת המחשבה עצמה, לחצים עקיפים עדיין עלולים לצמצם את יכולת הניטור. למשל⁠(נפתח בחלון חדש), ייתכן שלמודלים יהיה קל יותר להגיע לתשובות המזכות בתגמול גבוה אם יימנעו ממסלולי reasoning שעלולים להוביל לתוצאות לא רצויות או לתגמול נמוך. לבסוף, ירידה ביכולת הניטור עשויה לנבוע מסחיפה מקרית שמקורה ברעש בגרדיאנטים של למידת החיזוק.

להלן אנו בוחנים כיצד יכולת הניטור משתנה לאורך שתי ריצות אימון בלמידת חיזוק של מודלי חזית של OpenAI. אף שתוצאות אלה מייצגות שתי נקודות נתונים בלבד, הן מצביעות על כך שאופטימיזציה באמצעות למידת חיזוק בהיקפים הנהוגים כיום בחזית הטכנולוגיה אינה פוגעת מהותית ביכולת הניטור של שרשרת המחשבה, ואף משפרת אותה בצעדים הראשונים. עם זאת, אין בכך כדי לשלול את האפשרות שלמידת חיזוק בהיקפים גדולים משמעותית תפגע בעתיד ביכולת הניטור.

חלק ניכר מיכולותיהן האינטלקטואליות של מערכות הבינה המלאכותית כיום נובע מהגדלת היקף הקדם-אימון: הן מספר הפרמטרים במודלים והן גודל מערכי הנתונים גדלו בהתמדה מאז ראשית פרדיגמת GPT. מספר פרמטרים גדול יותר מוביל לשימוש ביותר משאבי חישוב בזמן הסקה לכל טוקן שנוצר. במודלי reasoning, הדבר מאפשר לחלק גדול יותר מהעיבוד הקוגניטיבי של המודל להתרחש בתוך האקטיבציות, ולא בתוך שרשרת המחשבה. לכן, אפשר לצפות שברמת יכולת נתונה, מודלים גדולים יותר יהיו קשים יותר לניטור. 

בה בעת, ייתכן גם שלמודלים קטנים יותר יש יכולת פחותה להשתמש בשרשרת המחשבה ביעילות — וגם לכך עשויה להיות השפעה על יכולת הניטור.

כדי לחקור את הקשר בין היקף הקדם-אימון, היכולת ויכולת הניטור, אימנו משפחת מודלים בעומק וברוחב הולכים וגדלים, בטווח של שני סדרי גודל של משאבי חישוב לקדם-אימון. לאחר מכן אימנו כל אחד מהם בלמידת חיזוק על אותו מערך נתונים של משימות במתמטיקה, במדע ובתכנות. בחנו כל מודל במגוון רמות של מאמץ reasoning, והשווינו את יכולת הניטור ברמות יכולת תואמות.

באופן כללי, מצאנו שבמקום להפעיל מודל מסוים במאמץ reasoning נמוך, אפשר להפעיל מודל קטן יותר במאמץ reasoning גבוה יותר. בהשוואה להשקעת משאבי החישוב הנוספים בהגדלת מאמץ ה-reasoning של המודל הגדול המקורי, אפשר להשיג יכולת ניטור גבוהה יותר במחיר של ירידה קלה ביכולת, או מס ניטור; עם זאת, הזמן שחולף בפועל עד להשלמת הפלט עשוי גם הוא להשפיע על חלק מההחלטות לגבי הכנסה לשימוש — גורם שאיננו בוחנים כאן. ככל שהמודלים שלנו משתפרים ונכנסים לשימוש בהקשרים בעלי השלכות כבדות יותר, ייתכן שיהיה צורך לשלם מס כזה כדי להשתמש בהם בבטחה.

לתוצאות האלה יש כמה מגבלות: (1) אנו מאמנים כל מודל פעם אחת בלבד, ולכן איננו מביאים בחשבון שונות בין ריצות אימון. למשל, המודל ״הבינוני״ חורג למדי ממגמת יכולת הניטור של שאר המודלים בסדרה, וייתכן שזו הסיבה לכך. (2) אנו בוחנים יכולות בתנאים הקרובים יחסית להתפלגות נתוני האימון (מתמטיקה, מדע ותכנות), ויחסי התמורה עשויים להשתנות כשמביאים בחשבון עמידות מחוץ להתפלגות זו.

ככל שמערכות בינה מלאכותית מתפתחות ומשיגות ביצועים העולים על אלה של בני אדם, הפיקוח האנושי הישיר נעשה קשה יותר ויותר. במצב אידיאלי, יעמדו לרשותנו תהליכי בקרה הניתנים להרחבה, שיאפשרו למנגנוני ניטור מהימנים אך חלשים יותר לפקח על סוכנים חזקים יותר, שאולי אינם מהימנים. תהליכים כאלה צריכים גם להיות מסוגלים לנצל משאבי חישוב נוספים בזמן ההרצה ולהפיק תחזיות מדויקות יותר.

לעיתים קרובות מתייחסים ליכולת הניטור של שרשרת מחשבה כאל נתון קבוע: לאחר שמודל מפיק תשובה ברמה נתונה של מאמץ reasoning, מנטרים את שרשרת המחשבה שנוצרה בצורה הטובה ביותר האפשרית. מאחר שמצאנו בעקביות שיכולת הניטור משתפרת ככל שאנו מגדילים את מאמץ ה-reasoning של הסוכנים שלנו, התעורר בנו הרעיון לבדוק אם אפשר להשיג בדרך כלשהי יותר טוקנים לניטור.

כדי לבדוק זאת, ערכנו ניסויים שבהם הצגנו שאלות המשך לאחר תשובת המודל, תוך השארת הפרומפט המקורי, שרשרת המחשבה והתשובה בהקשר. שאלות ההמשך האלה מתמקדות במאפיין המנוטר — למשל, ״האם השתמשת ברמז באופן מהותי כדי לבחור את התשובה שלך?״ או ״האם עשית משהו מפוקפק?״ עקרונית, מאחר שלמודל עדיין יש גישה ל-reasoning הקודם שלו, ייתכן שהוא יוכל לבטא בשרשרת המחשבה או בתשובה לשאלת ההמשך מחשבות שלא נוסחו קודם במילים.

אלה תוצאות ראשוניות. בדקנו רק מספר קטן של נוסחי שאלות המשך, ואנו מאמינים שיש מקום רב לשיפור המתודולוגיה. נוסף על כך, שיטה זו דומה ברוחה לוידויים של מודלים⁠, ואנו עובדים כעת על השוואה בין הגישות.

מעבר לשיפור יכולת הניטור, יתרונה של גישה זו הוא שאפשר להחיל אותה בדיעבד, כך שעלות החישוב הנוספת נדרשת רק כשיש צורך בבדיקה מעמיקה יותר. במבט קדימה, אם מודלים יאומנו לצפות לשינויים במאמץ ה-reasoning באמצע שיחה, שאלות המשך שיוצגו בדיעבד במאמץ reasoning גבוה יותר עשויות לשפר עוד את יכולת הניטור, גם כשהמאמץ הראשוני נמוך או שאינו קיים כלל.

כל בחינה במערך שלנו מודדת אם היבט אחד של תהליך ה-reasoning ניתן לניטור. אף שאנו שואפים לכסות מגוון רחב של התנהגויות — ובהן חנפנות, sandbagging, הטיה, תחבולנות ו-reward hacking — יש מאפיינים רבים נוספים שטרם נבדקו.

כמו בכל מדד השוואה, ייתכן שהבחינות שלנו אינן משקפות את המציאות במלואה או שהן מושפעות ממודעות גוברת לבחינה, וייתכן שלא יהיה אפשר להכליל את תוצאותיהן לזיהוי התנהגות פסולה בעולם האמיתי. 

לבסוף, ככל שהתאמת המודלים לכוונות ולערכים אנושיים משתפרת, הם עשויים להתנהג באופן פסול בתדירות נמוכה יותר בתנאי בחינה מבוקרים. הדבר מצמצם את האות הזמין לבחינות יכולת ניטור ובקרה המסתמכות על זיהוי התנהגות פסולה. במקרים אלה, בחינות יכולת ניטור ״ניטרליות״ עדיין ישימות, אך השאלה עד כמה הן מנבאות כשלים בעולם האמיתי נותרת פתוחה.

אם לא יהיה אפשר לפתור במלואה את בעיית ההתאמה לכוונות ולערכים אנושיים, שיטות בקרה הניתנות להרחבה יהיו חשובות ביותר ליכולת שלנו להכניס לשימוש בבטחה מודלים בעלי יכולות גבוהות. ניטור שרשרת מחשבה ושיטות קשורות עשויים להיות בין מנגנוני הבקרה המעטים שיעמדו לרשותנו. שרשרת המחשבה יכולה גם לתרום רבות להבנת המודלים שלנו: למשל, האם הם מודעים לכך שהם נבחנים ומתנהגים אחרת מכפי שהיו מתנהגים בשימוש בפועל, האם יש עדויות למטרות מזיקות שטרם באו לידי ביטוי בבחינות שלנו, וכדומה. לכן, אנו מאמינים שחשוב ביותר להבין כיצד ומתי אנו עלולים לאבד את יכולת הניטור.

אנו רואים בניטור שרשרת מחשבה השלמה לפרשנות מנגנונית, ולא תחליף לה. כמו בכל שיטות הבקרה והפרשנות המוכרות, לכל אחת מהן יש מגבלות ושטחים מתים. אנו מצפים ששילוב של כמה גישות — אסטרטגיית הגנה לעומק — יוכל לעזור לכסות פערים שכל שיטה בפני עצמה משאירה חשופים. ראוי לציין שאפשר להשתמש בבחינות שהוצגו במחקר זה גם כדי להעריך ולהשוות טכניקות ניטור המבוססות על פרשנות מנגנונית.

מאחר שאנו מאמינים שניטור שרשרת מחשבה יכול להיות שכבה מרכזית שאפשר להסתמך עליה במערך בקרה הניתן להרחבה, אנו מתכננים להרחיב את הבחינות האלה ולהיעזר בהן בקבלת החלטות עתידיות בנוגע למודלים ולנתונים.