מודלי reasoning מתקשים לשלוט בשרשראות המחשבה שלהם, וטוב שכך

ככל שסוכני בינה מלאכותית מסוגלים לבצע משימות מורכבות יותר ובאופן עצמאי יותר, גוברת החשיבות של פיקוח אמין על התנהגותם. בהתאם לעקרון הפריסה ההדרגתית שלנו, אנו חוקרים כיצד מערכות מתנהגות בתנאי העולם האמיתי ומשפרים בהתמדה את אמצעי ההגנה ככל שהיכולות מתקדמות. לשם כך, גישת הבטיחות שלנו⁠ מבוססת על הגנה לעומק, עם שכבות הגנה משלימות כגון אימון לבטיחות⁠, בדיקות התנהגותיות⁠, סקירת קוד אג'נטית⁠(נפתח בחלון חדש) וניטור שרשרת מחשבה (CoT)⁠. ניטור שרשרת המחשבה מנתח את שלבי ה-reasoning שסוכנים מייצרים במהלך ביצוע משימות. תיעוד ה-reasoning הזה יכול לספק אותות חשובים הן במהלך האימון והן לאחר הפריסה, ולסייע למערכות ניטור לזהות מתי התנהגותו של סוכן עלולה להיות לא בטוחה או לא להתיישב עם המטרות שאליהן התכוון המשתמש.

כיום, אנו מוצאים שבדרך כלל אפשר להבין את ה-reasoning של מודלים וקל לנטר אותו⁠. עם זאת, בעתיד היכולת לנטר אותו עלולה להיפגע ממגוון סיבות⁠(נפתח בחלון חדש). כאן אנו מתמקדים באפשרות אחת כזו: אם סוכנים יוכלו לשנות במכוון את ה-reasoning שלהם או לטשטש אותו כשהם יודעים שהם מנוטרים, הערכות עלולות להפריז במידת ההתאמה של מערכת למטרות ולערכים הרצויים או ברמת הבטיחות שלה, ומערכות ניטור עלולות להפוך לאמינות פחות. 

במחקר זה אנו בודקים אם מודלי reasoning קיימים מסוגלים לשלוט בשרשרת המחשבה שלהם בדרכים שמצמצמות את היכולת לנטר אותה. הבנת היכולת הזו חשובה כדי להבטיח שניטור שרשרת המחשבה יישאר אמצעי הגנה איתן ככל שיכולותיהן של מערכות בינה מלאכותית מתרחבות. מצאנו שמודלי reasoning קיימים מתקשים לשלוט בשרשראות המחשבה שלהם, גם כשנאמר להם שהם מנוטרים. אף שיכולת השליטה גבוהה יותר במודלים גדולים יותר, היא פוחתת כשהמודלים מתבקשים להקדיש זמן רב יותר ל-reasoning וכשהם עוברים אימון המשך נוסף. התוצאות שלנו מצביעות על כך שכיום, לא סביר שיכולת השליטה בשרשרת המחשבה מהווה סיכון משמעותי ליכולת לנטר אותה. עם זאת, חשוב להמשיך להעריך זאת ככל שהמודלים מתקדמים.

שרשרת מחשבה היא רצף שלבי הביניים של ה-reasoning שסוכן בינה מלאכותית מייצר במהלך פתרון משימה. תיעוד ה-reasoning הזה יכול לספק אותות מועילים בנוגע לבטיחות, ולסייע למערכות ניטור להעריך אם התנהגות הסוכן בטוחה או תואמת את המטרות והערכים הרצויים.

יכולת שליטה בשרשרת המחשבה היא היכולת של מודל reasoning לשלוט במאפיינים של שרשרת המחשבה שלו בדרכים שמצמצמות את היכולת לנטר אותה. קשה למדוד את היכולת הזו בכל טווח התמריצים המציאותיים לחמוק ממערכות ניטור, שעשויים להתעורר בפועל. במקום זאת, אנו משתמשים במדד עקיף מעשי: אנו מודדים את יכולת המודל לציית להוראות משתמש הנוגעות לשרשרת המחשבה שלו. לדוגמה, אנו בודקים אם מודל יכול לציית להוראות שמשפיעות על ה-reasoning הפנימי שלו — כמו שימוש באותיות קטנות בלבד, הימנעות ממילות מפתח מסוימות או הוספת ביטויים מסוימים — ולא רק לשנות את הפלט הגלוי שלו.

כדי לחקור זאת, אנו מציגים את CoT-Control, ערכת הערכה בקוד פתוח למדידת יכולת השליטה של מודלי reasoning בשרשרת המחשבה שלהם. CoT-Control כוללת יותר מ-13,000 משימות שנבנו על בסיס מבחני ביצועים מוכרים: GPQA,‏ MMLU-Pro,‏ HLE,‏ BFCL ו-SWE-Bench Verified⁠. כל משימה נוצרת משילוב של בעיה ממבחן ביצועים עם הוראה אחת לגבי שרשרת המחשבה, כגון הימנעות ממילות מפתח מסוימות הקשורות לבעיה בתוך שרשרת המחשבה, שימוש באותיות קטנות בלבד או הוספת מילה נתונה לסוף כל משפט.

ערכנו הערכות ל-13 מודלי reasoning, ומצאנו שכולם מתקשים לשלוט בשרשראות המחשבה שלהם באופן עקבי. אנו מודדים את יכולת השליטה כשיעור תיעודי ה-reasoning שבהם המודל מצליח לציית להוראות שלנו לגבי שרשרת המחשבה. במודלי חזית, ציוני יכולת השליטה בשרשרת המחשבה נמוכים: הם מתחילים ב-0.1% ואינם עולים על 15.4% באף אחד ממודלי החזית הקיימים שבדקנו. 

חוסר היכולת הזה אינו נובע מאי-הבנת המשימה: לעיתים קרובות מודלים מזהים בתוך שרשרת המחשבה שלהם שהם אינם מצייתים להוראות שקיבלו לגביה, וגם לאחר ההבנה הזו הם ממשיכים להיכשל. הביצועים הנמוכים במפתיע הם חדשות טובות ליכולת הניטור של שרשרת המחשבה: הם מרמזים שייתכן שגם אין למודלים יכולת לטשטש את ה-reasoning שלהם כדי לחמוק ממערכות הניטור שלנו.

אומנם אנו רואים שיכולת השליטה גדלה ככל שהמודל גדול יותר, אך אנו מוצאים גם שהיא פוחתת במהירות ככל שגדלים היקף אימון ההמשך ומשאבי החישוב בזמן ההסקה. בבחינת שתי משפחות של מודלים בעלי משקולות פתוחות, מודלים גדולים יותר הצליחו מעט יותר בשליטה בשרשראות המחשבה שלהם, אך השפעת הגודל נחלשה בגדלים הגבוהים יותר. אבל כשאפשרנו למודלים לחשוב זמן רב יותר, יכולתם לשלוט בשרשראות המחשבה האלה פחתה. ראינו מגמה דומה באימון בלמידת חיזוק (RL) של OLMo-3-7B-RL-Zero-Math: ציון יכולת השליטה שלו ירד ליותר מעשירית מערכו המקורי במהלך האימון.

יכולת השליטה גדלה עם גודל המודל במודלים בעלי משקולות פתוחות, אך פוחתת ככל שה-reasoning מתארך והאימון בלמידת חיזוק מתרחב.

כדי לדמות תמריצים מציאותיים לחמוק ממערכות ניטור, אנו מודדים את יכולת השליטה כשנאמר למודלים שהם מנוטרים או נבחנים. הדבר מגדיל מעט את יכולת השליטה, אך במידה שניתן להבחין בה. אנו משתמשים גם באופטימיזציה אוטומטית של פרומפטים כדי למצוא פרומפטים שמביאים ליכולת שליטה גבוהה. אף שמנגנון האופטימיזציה יכול להגדיל את יכולת השליטה במערך אימון, השיפורים האלה כמעט שאינם עוברים לסוגי הוראות חדשים, כגון דרישה שלא יהיו רווחים בין מילים.

המשימות ב-CoT-Control הן מדדים עקיפים מעשיים: הערכה אידיאלית של יכולת השליטה בשרשרת המחשבה הייתה בודקת אם מודלים שחותרים מעצמם למטרות שאינן תואמות את הכוונות הרצויות יכולים לשלוט בשרשרת המחשבה שלהם כדי לחמוק מניטור. במקום זאת, אנו אומדים את יכולתם של סוכנים לשלוט בשרשראות המחשבה שלהם באמצעות מדידת יכולתם לציית להוראות הנוגעות לשרשרת המחשבה שלהם. נוסף על כך, מודלים מסוגלים לשלוט במאפיינים מסוימים של שרשרת המחשבה שלהם טוב יותר מבאחרים. מאחר ש-CoT-Control מודדת רק קבוצה מצומצמת של סוגי שליטה, ייתכן שהיא מעריכה את יכולת השליטה ביתר או בחסר.

יכולת שליטה נמוכה בשרשרת המחשבה היא יתרון, לא תקלה. יכולת השליטה הנמוכה של מודלי reasoning קיימים הופכת את ניטור שרשרת המחשבה לאמצעי הגנה אמין יותר. בה בעת, עדיין איננו מבינים מדוע יכולת השליטה של מודלי reasoning קיימים נמוכה, או אם המאפיין הזה יישמר ככל שיכולות המודלים יתרחבו. לכן, אפשר לראות בהערכות של יכולת השליטה בשרשרת המחשבה מנגנון התרעה מוקדמת, המאותת אם מודלים משתפרים ביכולתם לעצב את ה-reasoning שלהם או להסתיר אותו. 

התוצאות שלנו מצביעות על כך שכיום, לא סביר שיכולת השליטה בשרשרת המחשבה מהווה סיכון משמעותי ליכולת לנטר אותה. עם זאת, יכולת שליטה נמוכה אינה מספיקה כשלעצמה כדי להבטיח יכולת ניטור גבוהה, שכן יכולת הניטור עדיין עלולה להיפגע עקב מנגנונים אחרים, כגון לחץ אופטימיזציה ישיר על שרשראות המחשבה. 

כדי לסייע במעקב אחר הדינמיקה הזו לאורך זמן, נתחיל לדווח על יכולת השליטה בשרשרת המחשבה לצד יכולת הניטור של שרשרת המחשבה⁠ בכרטיסי המערכת של מודלי חזית עתידיים, החל מ-GPT‑5.4 Thinking. זאת בהמשך למחויבות המתמשכת שלנו⁠ שלא להפעיל לחץ אופטימיזציה ישירות על שרשראות המחשבה של מודלי reasoning שבחזית.