מטמון פרומפטים משופר ל-GPT‑6
שיעורי פגיעה גבוהים יותר במטמון וכלים חדשים שעוזרים לסוכנים שפועלים ברציפות לעבוד מהר יותר ובעלות נמוכה יותר.
GPT‑6 מאפשר לסוכנים שפועלים ברציפות לעבוד במשך שעות על משימות מורכבות, החל משינוי מבנה של בסיסי קוד ועד ליצירת מסמכים ומצגות המבוססים על מחקר מעמיק. האפליקציות שמפעילות את הסוכנים האלה שולחות סדרה של בקשות API שנבנות זו על גבי זו, ולעיתים קרובות כוללות שוב את אותן הוראות, הגדרות כלים והקשר מסבבים קודמים. OpenAI שומרת את ההקשר המשותף הזה במטמון כדי לעשות שימוש חוזר בחישובים בין בקשות, לקצר את זמני התגובה ולהעניק למפתחים הנחות של עד 90% על טוקני קלט שנשמרו במטמון.
עם משפחת GPT‑6 השקנו מערכת משופרת של מטמון פרומפטים, המספקת שיעורי פגיעה גבוהים יותר במטמון כברירת מחדל. כעת אנחנו מעניקים הנחות מטמון על קידומות משותפות שעומדות בתנאים ושנעשה בהן שימוש חוזר בתוך חלון של 30 דקות. אנחנו גם מציגים כלים חדשים שיעזרו למפתחים לנטר את ביצועי המטמון, לאבחן החטאות ולבחור איזה חלק מהפרומפט לשמור במטמון.
לוח הבקרה החדש של מטמון הפרומפטים(נפתח בחלון חדש) מציג איזה חלק מהקלט של האפליקציה שלכם מתקבל מהמטמון. עקבו אחר שיעורי הפגיעה לאורך זמן והשתמשו בתרשים הרכב הקלט כדי להשוות בין טוקנים שנשמרו במטמון לבין כאלה שלא. התצוגות האלה עוזרות לכם לזהות ירידות בשיעור הפגיעות במטמון ולהעריך כיצד שינויים באפליקציה משפיעים על ביצועי המטמון.
כשאתם מזהים החטאה בלתי צפויה במטמון, השתמשו בכלי האבחון של מטמון הפרומפטים(נפתח בחלון חדש) כדי להבין מה קרה. השוו בקשה לתגובה שהתקבלה לאחרונה כדי לזהות שינויים במודל, בכלים, בהגדרות או בקלט שמנעו שימוש חוזר. האומדן של מספר הטוקנים שהושפעו עוזר לכם להעריך את היקף ההשפעה ולהחליט כיצד לייעל את האינטגרציה כדי למקסם את שיעור הפגיעות במטמון.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
בחרו מה לשמור במטמון. נקודות עצירה מפורשות לשמירה במטמון מאפשרות לכם לבחור באילו קידומות פרומפט ייעשה שימוש חוזר. המדריך המעודכן למטמון פרומפטים(נפתח בחלון חדש) מסביר כיצד להשתמש בהן, למשך כמה זמן קידומות שנשמרו במטמון עדיין עומדות בתנאי השימוש החוזר, וכיצד שינויים בכלים ובקלט משפיעים על השימוש החוזר.
התאימו את מאמץ ה-reasoning בלי לפגוע בשימוש במטמון. במודלים של GPT‑6 אפשר כעת לשנות את מאמץ ה-reasoning(נפתח בחלון חדש) בין תגובות בלי לפגוע בשימוש במטמון. הגדילו את המאמץ למשימה קשה יותר או הפחיתו אותו לשאלת המשך שגרתית באמצעות הוספת configuration_update, תוך השארת מאמץ ה-reasoning ברמת הבקשה ללא שינוי. כך תוכלו להתאים את היקף ה-reasoning הנדרש למשימה, תוך שמירה על ההקשר שניתן לשימוש חוזר.
שמרו על המטמון גם כשהכלים וההוראות משתנים. כשהצרכים של הסוכן שלכם בשימוש בכלים משתנים, השאירו את הגדרות הכלים, הסכמות והסדר שלהם ללא שינוי, כדי שההקשר הקודם יישאר זמין לשימוש חוזר. השתמשו ב-allowed_tools כדי לאפשר קריאה רק לכלים הרלוונטיים, או הגדירו את tool_choice לערך none כשאין צורך בכלים, במקום להסיר הגדרות. השתמשו בהודעות מפתח חדשות כדי להוסיף הוראות חדשות לקראת סוף ההקשר, שיחליפו הוראות קודמות. עיינו בהנחיות שלנו לניהול שינויים בכלים(נפתח בחלון חדש).
חממו את המטמון מראש כדי לצמצם את ההשהיה. חימום מראש(נפתח בחלון חדש) מכין הקשר ידוע מבעוד מועד, כדי שהמודל יוכל להתחיל להגיב מהר יותר כשמגיעה בקשה. לדוגמה, אפליקציה יכולה לחמם את המטמון באמצעות הוראות משותפות, הגדרות כלים או חומרי עזר במהלך האתחול, עוד לפני שהמשתמש שואל את השאלה הראשונה. כך העיבוד מתבצע מראש, ולא בזמן שהמשתמש ממתין.
אפשרויות השליטה האלה מוסיפות על ביצועי ברירת המחדל של המנוע, ועוזרות לכם להתאים את השמירה במטמון לעומס העבודה שלכם.
עקבו אחר שיעורי הפגיעה במטמון באמצעות לוח הבקרה של מטמון הפרומפטים(נפתח בחלון חדש).
בדקו החטאות בלתי צפויות בעזרת כלי האבחון(נפתח בחלון חדש).
פעלו לפי המדריך למטמון פרומפטים(נפתח בחלון חדש) כדי לשפר את התצורה שלכם, או השתמשו ב-Codex(נפתח בחלון חדש) כדי לסקור את הקוד, ליישם שיפורים ולמדוד תוצאות.
