היום אנו משיקים את GPT‑6 Astra, המודל בעל היכולות המתקדמות ביותר שהעמדנו אי פעם לשימוש נרחב. Astra הוא המודל הראשון שלנו שמגיע לרמת יכולות סייבר קריטית לפי ה-Preparedness Framework שלנו.
אלה הדברים החשובים ביותר שכדאי לדעת על בטיחות ההשקה:
GPT‑6 Astra מציג קפיצת מדרגה משמעותית ביכולות סייבר ועומד בסף שקבענו לרמה קריטית. המשמעות היא שעם הכלים והרשאות הגישה המתאימים, GPT‑6 Astra יכול לאתר חולשות אבטחה שלא היו מוכרות ולפתח דרכים חדשות לנצל אותן במערכות רבות המוגנות היטב, ללא הכוונה אנושית בכל שלב. בהתאם לכך, חיזקנו משמעותית את מנגנוני ההגנה שלנו מפני פעולות סייבר מזיקות של המודל, בין שהן נובעות משימוש לרעה ובין שהן נובעות מחוסר הלימה. נקטנו גם צעדים לאבטחת הפיתוח והפריסה הפנימיים של Astra ומודלים דומים, ובהם בידוד מחמיר יותר, הצפנת נקודות ביקורת, ניטור גורף של רצפי פעולה מלאים, כולל שרשראות מחשבה (CoT), ותהליך הערכת הלימה שיכול לחסום שימוש פנימי לפני תחילתו.
GPT‑6 Astra עמיד משמעותית מקודמיו. הודות לטכניקות חדשות של אימון בטיחות לחיזוק העמידות, GPT‑6 Astra עמיד משמעותית יותר מ-GPT‑5.6 Sol בפני פרצות, גם לאורך רצפי פעולה ארוכים יותר. אנו יודעים זאת על סמך בדיקות מחוץ לסביבת הייצור ותוכנית קפדנית של בדיקות פנימיות וחיצוניות לאיתור פרצות ולתיקונן. בנוסף, אימנו את המודל להתאים את גבולות הסירוב שלו עבור משתמשים שסומנו כבעלי פוטנציאל סיכון גבוה, כך שיהיו מחמירים יותר ויכסו טווח רחב יותר של סיכוני שימוש כפול. אנו משתמשים בבדיקות רגרסיה כדי לוודא ש-Astra עמיד בפני פרצות שנמצאו בתקופות בדיקה קודמות, וביצענו סבבים חדשים של red teaming אוטומטי בעזרת מערכות התקיפה הפנימיות העדכניות ביותר שלנו ל-red teaming, כדי לאמת את השיפורים.
GPT‑6 Astra מפגין הלימה טובה יותר מ-GPT‑5.6 Sol. Astra הוא צעד משמעותי קדימה בהלימת מודלים, וכולל שיפורים שנוגעים לכל שלבי התהליך, מהרכב נתוני האימון המקדים ועד לשיטת מתן הציונים בלמידת חיזוק. אנו מציגים מערך חדש של הערכות הלימה(נפתח בחלון חדש), ומוצאים ש-GPT‑6 Astra מקפיד יותר על גבולות בטיחות ואבטחה ועל פעולה במסגרת הסמכות שניתנה לו. בסימולציה שהתבססה על יותר מ-54,000 משימות Codex פנימיות(נפתח בחלון חדש), מספר הסימונים שקיבל Astra בגין התנהגות חמורה יותר שאינה בהלימה היה כמחצית ממספרם אצל Sol.
אנו מרחיבים את הניטור של התנהגות שאינה בהלימה. אנו רואים בהלימת המודלים את האמצעי העיקרי למניעת התנהגות אפשרית שלהם שאינה בהלימה. עם זאת, הניטור מספק תמונה רחבה של התנהגות מודלי חזית, וחושף הזדמנויות לשיפור נוסף של ההלימה והבטיחות. כמו כן, הניטור משמש שכבת הגנה נוספת מפני התנהגות שאינה בהלימה ומתגלה באמצעותו. מסיבות אלה הוספנו גם ניטור של חוסר הלימה לכל תהליכי ההסקה המשתמשים בכלים במסגרת הפריסה החיצונית של Astra, בעלות משמעותית של משאבי חישוב. מערכת זו מקבילה למערך הפנימי שלנו.
יכולת הניטור של GPT‑6 Astra ירדה בהשוואה ל-GPT‑5.6 Sol. ערכנו מחקרים נרחבים על יכולת הניטור(נפתח בחלון חדש) ועל יכולת השליטה(נפתח בחלון חדש) של GPT‑6 Astra. מצאנו של-GPT‑6 Astra יכולת גבוהה יותר לשלוט בשרשרת המחשבה שלו מאשר ל-GPT‑5.6 Sol, ושהסבירות שיכלול בה מידע מפליל נמוכה יותר. בתנאים עוינים, שבהם אנו דוחפים את המודל לחמוק ממנגנוני הניטור שלנו, מצאנו שהוא מסוגל להימנע מזיהוי כשהוא מציג במכוון ביצועים נמוכים בהערכות (sandbagging), ולעיתים הוא יכול לחמוק ממנגנוני הניטור הפנימיים שלנו כשהוא מתבקש לבצע משימות חבלה מסוימות(נפתח בחלון חדש). לא ראינו עדויות ל-reasoning סטגנוגרפי בשרשרת המחשבה, למשל הסתרת reasoning בתוך טקסט רגיל ולכאורה לא קשור. הדבר מצביע על כך שסיכון ההתחמקות עשוי להיות מוגבל בעיקר למשימות הדורשות פחות reasoning.
ממצאים אלה מצביעים על כך שמודלים מסוג Astra עשויים לחמוק ממנגנוני הניטור שלנו לשרשראות מחשבה בתנאים עוינים. נכון לעכשיו, ממצאים אלה מבוססים בעיקר על הערכות בתנאים עוינים, כלומר כשאנו מורים למודל לחמוק מניטור. ככלל, הערכות ההלימה שלנו מראות שהסבירות ש-Astra יפר מגבלות אבטחה ובטיחות נמוכה מזו של GPT‑5.6 Sol.
עם זאת, אנו מתייחסים למגמה ברצינות וממשיכים לחקור את הממצאים ואת השלכותיהם על יכולת הניטור ככל שיכולות המודלים שלנו מתקדמות. OpenAI פעלה לשימור הניטור של שרשראות מחשבה ולניצולו, ושימור היכולת לנטר שרשראות מחשבה הוא יעד מרכזי של תוכנית המחקר. עם זאת, תוצאות אלה גם מדגישות את החשיבות של פיתוח שיטות לביקורת הלימה שאינן מסתפקות בבחינת שרשרת המחשבה של המודל.
GPT‑6 Astra פועל באחריות רבה יותר בסביבות גלישה ועבודה: GPT‑6 Astra עמיד משמעותית יותר מ-GPT‑5.6 Sol בפני הזרקות פרומפט. בנוסף, בדקנו את התנהגות המודל בסביבות גלישה ומחשוב מקצועיות המדמות שימוש מציאותי. מצאנו שהסבירות שיבצע פעולות שאינן בהלימה ועלולות להיות הרסניות, כגון עסקאות ללא הרשאה, גרימת אובדן נתונים, גישה מעבר לנדרש או עקיפת בקרות, נמוכה משמעותית בהשוואה ל-GPT‑5.6 Sol. הוא גם פועל באופן בטוח יותר בעת טיפול בבקשות מזיקות בסביבות אג'נטיות, כגון בקשות לסיוע בתכנון תקיפה אלימה או בביצוע הונאה.
GPT‑6 Astra בטוח משמעותית יותר בתרחישים בסיכון מוגבר. GPT‑6 Astra מגיב באופן בטוח יותר מ-GPT‑5.6 Sol לבקשות מאתגרות שנאספו מסביבת הייצור ומבדיקות red teaming עוינות שביצעו בני אדם. Astra משיג שיפור פארטו במתן מענה בטוח לבקשות לא בטוחות ובהימנעות מסירובים מיותרים לבקשות שאינן מזיקות. שיפורים אלה חלים גם על תרחישים בדרגת חומרה גבוהה, שבהם הסיכון לנזק נובע מההקשר הרחב ולא מבקשה מפורשת. Astra גם מיישם בעקביות רבה יותר גבולות בטיחות מותאמי גיל עבור משתמשים מתחת לגיל 18.
למידע נוסף, ראו את כרטיס המערכת המלא(נפתח בחלון חדש).
