לקראת תיקי בטיחות לאימון frontier AI

אנו מאמינים שאנו נכנסים לעידן חדש, שבו יש לדרוש תיעוד בטיחות מובנה לפני המשך כל הרצת אימון בלמידת חיזוק של מודלי חזית. במצב הרצוי, תיעוד כזה יעמוד ברף של ״תיקי בטיחות״ — מערכי טיעונים מקיפים, מובנים ומבוססי ראיות בנוגע לסיכון, המשמשים בענפים אחרים שבהם הבטיחות קריטית. אנו רואים בתיקי בטיחות יעד שאפתני שמנחה את עבודתנו. לצד זאת, אנו מכירים בקושי להחיל עליהם רמת קפדנות דומה לזו הנהוגה בתעופה או באנרגיה גרעינית כשמדובר במודלים של בינה מלאכותית, בשל המורכבות המתהווה בכל רמה חדשה של יכולות בינה מלאכותית. אנו עובדים על מסגרת שתעגן את שיטות העבודה האלה.

להלן כמה הנחיות ראשוניות שלדעתנו צריכות להיכלל בתיקי בטיחות כאלה לאימון frontier AI. שיטות העבודה המומלצות האלה משקפות את התובנות שצברנו עד כה, ואנו צופים שהן יתפתחו ככל שנמשיך לשפר את התהליכים הפנימיים לפיתוח זהיר. אנו משתפים אותן כעת כדי להציג בשקיפות את תפיסתנו הנוכחית, ומזמינים משוב מהקהילה. חשוב לציין שמסמך זה מתמקד באימון בלמידת חיזוק של מודלי חזית; פריסה פנימית וחיצונית מחייבת התייחסות למכלול רחב הרבה יותר של מאפייני הלימה.

תיקי בטיחות צריכים להתייחס לשלושה היבטים של המערך הטכני: אימון להלימה, בידוד וניטור. אמצעי ההגנה האלה מסייעים להבטיח שהמודל לא ינסה לבצע פעולות שאינן בהלימה, ושגם אם ינסה, יהיה לו קשה לפרוץ את הבידוד ומערכת הניטור תזהה זאת לפני שייגרם נזק.

• הלימת המודל: קו ההגנה הראשון צריך להיות אימון מודלים להלימה, כלומר לפעולה אמינה בהתאם לכוונותינו. האמצעים לכך יכולים לכלול:

  • סביבות אימון ומתן ציונים: הפחתת הסיכון שמודלים יפתחו התנהגות שאינה בהלימה, באמצעות מניעת חיזוק חיובי על ניצול פרצות במנגנון התגמול במהלך האימון. האמצעים לכך יכולים לכלול:

    • בדיקות אוטומטיות של מערכי נתונים: שימוש בסוכנים לאיתור ולתיקון סביבות למידת חיזוק פגומות, שבהן רצפי פעולות שאינם בהלימה עלולים לזכות בתגמול גבוה באמצעות ניצול פרצות במקום התנהגות רצויה. כך יפחתו ההזדמנויות לחיזוק אי־הלימה במהלך האימון.

    • בדיקות ידניות של מערכי נתונים: השלמת תהליכי red teaming אוטומטיים בבדיקות ידניות ובבדיקות איכות של מערכי נתונים, כדי לזהות משימות פגומות שעלולות לחזק בשוגג התנהגות שאינה בהלימה.

    • כוונון מנגנוני מתן ציונים: כוונון המנגנונים כך שיענישו על ניסיונות של המודל לנצל פרצות בסביבות למידת חיזוק או לפרוץ אליהן במהלך האימון.

    • ניתוח הרצות קודמות: הפעלת מסווגים על עקבות ביצוע מניסויים קודמים, כדי לוודא שמנגנוני מתן הציונים פועלים כמתוכנן.

  • מדידת הלימה: ביצוע הערכות העוקבות אחר נטיות המודל לאי־הלימה, כדי למדוד את יעילות האימון להלימה. האמצעים לכך יכולים לכלול:

    • הערכות הלימה לא מקוונות: ביצוע הערכות הלימה במהלך הרצות אימון של מודלי חזית, כדי לבדוק אם האימון פועל כמתוכנן ולחקור כל נסיגה משמעותית.

    • בדיקות בדיעבד: בדיקת הערכות הלימה על אירועים קודמים, כדי לוודא שהן מזהות מודלים שהפגינו בעבר אי־הלימה ושאינן מותאמות יתר על המידה לאירועים מסוימים.

    • מעקב אחר ניסיונות לתמרן הערכות: מעקב אחר מודעות לבחינה או אסטרטגיות מטא־משחק (מודלים המזהים שהם נבחנים), שעלולות לגרום לשינוי התנהגותי. למשל, הפעלת מנגנוני ניטור של מודעות לבחינה ומטא־משחק בהערכות הלימה, עם ספי חסימה מוגדרים.

    • מבחני קיצון לתרחישים הגרועים ביותר: ניסיון לעורר התנהגות פסולה בתרחיש הגרוע ביותר, ובדיקה שלפחות הערכה אחת תזהה התנהגות זו.

  • מניעת אימון על שרשרת מחשבה: אין לאפשר למנגנוני מתן ציונים אוטומטיים לראות את שרשרת המחשבה במהלך למידת חיזוק, כדי למנוע ממודלים לפתח דרכים לחמוק ממנגנוני ניטור של שרשרת מחשבה.

• בידוד: יש לוודא שהבידוד בארגז חול והאבטחה חזקים דיים למנוע פעולות מזיקות, למקרה שמודל יתחיל לפעול שלא בהלימה. האמצעים לכך יכולים לכלול:

  • שכבות מרובות של אבטחת תשתיות: השקעה ניכרת בהקשחת ארגז החול שבו פועל המודל וגם תשתית המחקר שמארחת אותו, כדי להבטיח שכבת הגנה נוספת במקרה של יציאה מארגז החול.

  • red teaming למנגנוני הבידוד: שיפור האבטחה של ארגז החול, תשתית המחקר ומעטפת המערכת, באמצעות סבבים חוזרים של red teaming למערכות אלה בעזרת גרסאות מודל מנקודות ביקורת בהרצות אימון של מודלי חזית, בכפוף לניתוח בטיחות, כדי לאתר ולסגור פערים. יש לבצע בדיקות red teaming גם לכל השירותים שהמודל עשוי לגשת אליהם במהלך האימון (למשל, מטמון אינטרנט).

  • תקשורת בין דגימות: הגבלת תקשורת ברוחב פס גבוה בין דגימות לערוצים מאושרים, כגון כלים מרובי־סוכנים, וסגירת ערוצי צד בתשתית שרוחב הפס שלהם גבוה ושסוכנים יכולים לגלות בקלות.

  • תמלילים שאינם ניתנים לשינוי: שמירת תמלילי סוכנים באופן שאינו מאפשר לשנותם למשך זמן סביר (למשל, בחשבונות אחסון לכתיבה חד־פעמית), בכל אימון בלמידת חיזוק, הערכה ופריסה פנימית, כדי לאפשר חקירת אירועים אמינה ולמנוע עריכות בשוגג.

• ניטור: למקרה שמודלים יתחילו לבצע פעולות שאינן בהלימה, יש להפעיל מערכת ניטור בזמן אמת שתזהה כל אי־הלימה אפשרית ותאפשר לטפל במהירות בבעיות בעדיפות גבוהה, לפני שיתרחש אירוע חמור. האמצעים לכך יכולים לכלול:

  • הבטחת יכולת הניטור: וידוא שניתן להמשיך לנטר את המודלים, באמצעות הערכות של יכולת הניטור ושל התחמקות מניטור עם ספים ברורים, כדי לזהות התנהגות מדאיגה בשלב מוקדם.

  • שיעור גילוי גבוה של בעיות מוכרות: וידוא שמערכת הניטור מזהה שיעור גבוה מאירועי העבר בהערכה על נתונים שנשמרו בנפרד ולא שימשו לאימון.

  • עדכניות ההערכות למנגנוני הניטור: יצירת דוגמאות להערכה המייצגות סיכונים חדשים לחלוטין בהרצות חדשות, כדי שמדדי שיעור הגילוי והדיוק של מנגנוני הניטור יישארו עדכניים.

  • תגובה מהירה: יישום התראות בעדיפות גבוהה שמובילות לפעולה במסגרת הסכם רמת שירות מוגדר, באמצעות הזעקת כונן או השהיה אוטומטית של ההרצה המושפעת, לפני שהמודל גורם נזק (למשל, הזעקת כונן האבטחה והאחראי להרצה בעת אירועים במהלך היום, והשהיה אוטומטית של הרצות במקרה של התראות שלא אושרה קבלתן בלילה).

לצד המלצות על אמצעי הגנה טכניים, אנו מגבשים שיטות עבודה תפעוליות מומלצות לתיקי בטיחות עבור הרצות אימון של frontier AI. אלה יכולות לכלול:

• חוות דעת נגדיות (ניתוח כשלים מראש): לאחר ניסוח תיק הבטיחות, על חבר בצוות אחר לכתוב חוות דעת נגדית שתזהה פערים אפשריים בתיק ותציג הערכת סיכון שקולה. לאחר מכן על צוות האימון להתייחס לחוות הדעת, כדי לחזק את תיק הבטיחות.

• אישורים: על חברי ההנהלה הבכירה לבחון את תיק הבטיחות, ולכל אחד מהם צריכה להיות סמכות להטיל וטו על ההרצה, כדי להבטיח כמה מנגנוני בקרה פנימיים עליה (למשל, ראש מערך המחקר או סמנכ״ל המחקר, מנהל הבטיחות והמדען הראשי).

• אחריותיות: על המנהל הבכיר האחראי להרצת האימון (למשל, ראש מערך המחקר או סמנכ״ל המחקר) לשאת באחריות לתיק הבטיחות ולכל תגובה לאירוע, לרבות במסגרת הערכות ביצועים, כך שגם לצוותי האימון יהיה תמריץ לקדם בטיחות והלימה.

• השהיה: אם מתגלות בעיות שעלולות לשלול את תוקפו של תיק בטיחות (למשל, בעיית אבטחה חדשה), יש לוודא שקיימים נוהלי פעולה, בקרות טכניות והסכמי רמת שירות להשהיית כל ההרצות שהתיק חל עליהן.

• שקיפות פנימית: יש להנגיש את תיקי הבטיחות לגופי פיקוח פנימיים (למשל, Safety and Security Committee).

• ביקורות: יש להעניק למבקרים גישה מספקת כדי לוודא שהטענות בתיק הבטיחות תקפות ומבוססות, ולהצביע על פערים אם יימצאו.

• הסלמה: צריך להיות תהליך ברור לדיווח על אי־הלימה לדרגים בכירים, עם טבלה המגדירה רמות חומרה של אי־הלימה וכונן לתחום אי־ההלימה שיוכל להזעיק מנהלים בכירים (למשל, מנכ״ל) כשהרצה מגיעה לרמת חומרה מסוימת.

• בקרות טכניות: יש להקשות על בני אדם ועל סוכנים להפעיל הרצות שאינן עומדות בדרישות. מנגנוני בטיחות כגון ניטור והשהיה אוטומטית צריכים לחסום פעילות במקרה של כשל (למשל, לא לאפשר להתחיל הרצות ללא ניטור מתאים פעיל, או להשבית את מנגנון הניטור מתוך אימון בלמידת חיזוק, הערכה או פריסה פנימית).

• יכולת חזרה לאחור: צריך להיות קל לזהות את כל השימושים בהמשך תהליך האימון במודל שאינו פועל בהלימה (למשל, יצירת נתונים או מתן ציונים), כדי לאפשר לבטל את השפעתם של פלטים שאינם בהלימה במידת הצורך.

• כיסוי מלא של הסיכונים השיוריים: תיקי הבטיחות צריכים לכלול רשימה מקיפה ככל האפשר של סיכונים שיוריים שאין להם מענה באמצעי צמצום הסיכון המיושמים כיום, כדי לאפשר החלטות מושכלות על קבלת סיכונים.

אלה ההמלצות שלנו בשלב זה, והן נמצאות בתהליך יישום ב-OpenAI. אנו צופים ששיטות העבודה שלנו ימשיכו להתפתח בשבועות הקרובים.

אנו מגבשים גם שיטות עבודה מומלצות לחקירת אירועי אי־הלימה חמורים של בינה מלאכותית. מעבדות צריכות לשאוף ללמוד ככל האפשר מכל אירוע (בדומה לשיטות חקירה⁠(נפתח בחלון חדש) בענפים אחרים שבהם לכשלים עלולות להיות השלכות חמורות), כדי למנוע אירועים כאלה בעתיד. הנה כמה דוגמאות לפעולות אפשריות:

• שקיפות פנימית: מאחר שהשלמת חקירה עשויה להימשך זמן רב, יש להציג בתוך הארגון עדכונים תקופתיים על חקירות אירועים (למשל, עדכונים יומיים על חקירות מתנהלות). לעובדים צריכים להיות מסלולים מוגדרים לקבלת גישה רחבה יותר, לרבות לתמלילים גולמיים ולדגימת פלטים ממודלים שאינם פועלים בהלימה, אם הדבר בטוח ורלוונטי לעבודתם.

• גורמי השורש לאי־הלימה: על החוקרים לזהות את גורמי השורש בדינמיקת האימון (למשל, באמצעות ניסויי הסרה ממוקדים או ניסויי דגימה מחדש), כדי להבין כיצד נוצרו התנהגויות שאינן בהלימה, להעמיק את ההבנה המדעית של אי־הלימה ולשפר את מניעתה בעתיד.

• תחקיר לאחר אירוע: יש לערוך תחקיר תפעולי וארגוני כדי להבין את כל הגורמים שתרמו לאירוע, כגון מדוע נוצרו בעיות ומדוע לא זוהו או לא דווחו לדרגים בכירים לפני האירוע.

• זיהוי: עלינו לפתח שיטות לבדיקת הלימה שיוכלו לזהות נטייה לגרום לאירוע, בלי לבצע אופטימיזציה ישירה על סמך מידע שהופק ממנו (למשל, תמלילים או סיכומי אירוע). יש ליצור הערכות המבוססות על האירוע כ״בדיקות רגרסיה״, כדי לוודא שמודלים עתידיים לא יפגינו נטייה לאי־הלימה באירועים דומים מאוד.

• דיווח לציבור: יש לשתף את הציבור בממצאי החקירה, בתחקירים ובשינויים התפעוליים לאחר סיום החקירה. יש להודיע בהקדם האפשרי לצדדים שלישיים שנפגעו.