JioStar: הארכיטקט הראשי על גילוי תוכן ב-AI ל-500 מיליון משתמשים
שיחה עם ויג׳יי סשאדרי, הארכיטקט הראשי של JioStar.
בסדרת Executive Function שלנו אנחנו מביאים את נקודות המבט של מנהיגים שמובילים שינוי באמצעות AI.
JioStar מפעילה פלטפורמות בידור ושידורי ספורט חיים המשמשות יותר מ-500 מיליון צרכנים, ותמכה בעד 72.5 מיליון צופים בו-זמנית בשידורי ספורט חיים. בהיקף כזה, AI חייב להיות מהיר, אמין ומוכן לסביבת ייצור.
באמצעות ה-API של OpenAI, פיתחה JioStar עוזר לגילוי סרטונים ונתוני קריקט באמצעות שיחה, ושילבה אותו ב-JioHotstar. הצופים יכולים לדבר בטבעיות כדי למצוא סרטים וסדרות, רגעי שיא מהעבר, רגעים ממשחקים בשידור חי או נתונים סטטיסטיים על קריקט, ולקבל תוצאות בחוויה חזותית המשלבת שיחה.
בפסגת המנהלים של OpenAI בסינגפור, שוחח סידהארת שארמה, ראש תחום ה-go-to-market של OpenAI באזור ASEAN, עם ויג׳יי סשאדרי, הארכיטקט הראשי של JioStar, על פיתוח החוויה ביותר מ-15 שפות בתוך כשמונה שבועות, ועל הלקחים למנהלים שמעבירים AI מהדגמה לסביבת ייצור.
תחום גילוי התוכן התפתח מעט מאוד ב-25 השנים האחרונות. המלצות היו השינוי המשמעותי האחרון. חלק גדול ממה שבא אחר כך היה וריאציה על אותו רעיון.
אבל הבחירה במה לצפות היא עניין אישי מאוד. מישהו עשוי לומר: ״אני מרגיש עצוב. תראה לי משהו שיעודד אותי.״ אפילו בבקשה הפשוטה הזו יש הרבה דקויות. איזה סוג של עצב? מה בדרך כלל מעודד את אותו אדם? האם הוא רוצה קומדיה, תוכן מנחם או משהו שיסיח לגמרי את דעתו?
מערכת המלצות מסורתית עלולה להתקשות להבין את המצב הזה. שיחה נותנת לצופה דרך להסביר אותו. אנחנו קוראים לזה ממשק קולי-חזותי.
התחלנו לגבש את הרעיון באוקטובר ובנובמבר, לקראת טורניר קריקט גדול בפברואר. היו לנו בערך חודשיים ושני קהלים שונים מאוד: צופי בידור ואוהדי קריקט.
צופה בתכני בידור עשוי לומר: ״יום שישי בערב — תפתיע אותי״, או לתאר סרט בלי לדעת את שמו. צופי ספורט עשויים לרצות עדכון ממוקד יותר, למשל פסילות חובטים, רצף חבטות של שש ריצות, או המשחק שבו שחקן צבר מספר מסוים של ריצות. מומחי קריקט עשויים לרצות נתונים סטטיסטיים על כל כדור.
אלה אתגרים שונים מאוד של גילוי תוכן. עבדנו על שילוב של בידור, רגעי ספורט ונתוני קריקט מפורטים בחוויה אחת, בכמה שפות, בתוך זמן קצר מאוד.
כבר בשלב מוקדם מאוד הגדרנו את הבעיה כצורך לאזן בין שלושה גורמים: דיוק, זמן תגובה ועלות. כל החלטה הנדסית הייתה צריכה לאזן בין שלושתם בו-זמנית.
השימוש בקול הפך את האיזון הזה לחשוב במיוחד. יותר מ-60% מהמשתמשים שלנו משתמשים בקול במקום בטקסט: אנשים מעדיפים לומר במה הם רוצים לצפות. המענה עדיין צריך להיות רלוונטי, מהיר וכדאי מבחינה כלכלית גם בהיקפי שימוש גדולים.
אני מחלק אותה לשני חלקים: מסגרת הערכה ושכבת אימות. לפני המעבר לסביבת ייצור, מסגרת ההערכה צריכה להוביל לשינויים. בסביבת הייצור, לולאת משוב צריכה להפוך התנהגות של לקוחות וכשלים למקרי בדיקה חדשים להערכה.
התהליך הזה יכול להזין ולחזק את עצמו, אבל קשה מאוד לגרום לו לעבוד כמו שצריך.
מומחים בתחום הם חיוניים. בבדיקות ההערכה של נתוני הספורט, עבדנו עם אנשים כמו עורכי מגזיני ספורט, שהבינו מה אוהדים מושבעים עשויים לשאול. אי אפשר להתחיל מפרומפט בלבד; צריך לבסס את המערכת על מומחיות אנושית מעמיקה.
אחד הדברים שעשינו נכון היה הרכב הצוות. התחלנו עם צוות קטן של מדעני נתונים ומהנדסים ועם הגדרת בעיה ברורה. מהנדסי OpenAI שמוצבים אצל לקוחות עבדו לצידנו כדי לחדד מהם הדברים המעטים שבהם היינו חייבים להצליח.
הראשון היה הגדרת גבולות הפעולה. ממשק קולי או טקסטואלי מאפשר למשתמשים לשאול כמעט כל דבר, ולכן התחלנו בהחלטה על מה המערכת לא אמורה לענות. מנגנוני ההגנה באו קודם.
לצורך בדיקות ההערכה, התחלנו במאגר נתונים ראשוני והשתמשנו במודלים כדי להרחיב ולגוון אותו. יצרנו מה שכיום אפשר לקרוא לו דפוס של יוצר ובודק: מודל אחד עזר לקבוע איך לענות על שאלה, ואילו מודל אחר שימש כמאמת — LLM בתפקיד שופט — עם מטרה מתחרה.
זה העלה שאלה נוספת: מי בודק את השופט? תכנון המאמת היה בעצמו אתגר של הערכה. Codex עזר לצוות להאיץ משימות כמו יצירת מקרי בדיקה להערכה ועדכון המערכת, אבל פיתוח מהיר יותר לא ביטל את הצורך בשיקול דעת ובאימות.
הייתי משקיע מוקדם יותר בניטור האפקטיביות של המודל בסביבת ייצור.
מדדי תשתית מסורתיים, כמו זמן תגובה באחוזון ה-99 (P99), עדיין חשובים, אבל הם לא מספיקים. צריך לנטר גם את האפקטיביות של המודל בסביבת הייצור.
ראשית, יש פער גדול בין מה שהטכנולוגיה מסוגלת לעשות לבין המציאות בתוך הארגון. אם החברה שלכם לא הדביקה את הקצב של כל הכרזה על מודל חזית, אתם לא לבד.
שנית, המשיכו להתמקד בתוצאות ולא בפעילות. קל לטעות ולראות בפעילות גלויה התקדמות משמעותית, במיוחד כשחברות שמות דגש על מדדי תשומות. מספר שורות הקוד שנוצרו, למשל, לא מעיד אם יצרתם ערך משמעותי.
לבסוף, רוב הארגונים ממעיטים בהערכת המיומנות וכושר הפעולה העצמאי שנדרשים מאנשים. אי אפשר להסתפק בתוכנית כללית לפיתוח מיומנויות. מנהלים זקוקים לאנשים שיודעים להשתמש בכלים האלה תוך הפעלת שיקול דעת. תנו למהנדס מעולה כלי כמו Codex, וההשפעה יכולה לגדול פי כמה; בלי שיקול הדעת הדרוש לאימות מערכות בסביבת ייצור, גם הסיכון גדל פי כמה.
יש לכם רקטה בידיים. בייחוד במערכות בסביבת ייצור, אתם צריכים אימות ומנגנוני הגנה, וצריכים להפקיד את המפתחות בידי האנשים הנכונים.
