JioStar: descoperire prin AI pentru 500 mil. de utilizatori

Seria noastră Executive Function prezintă perspectivele liderilor care impulsionează transformarea prin AI.

JioStar operează platforme de divertisment și transmisiuni sportive în direct folosite de peste 500 de milioane de consumatori și a deservit simultan până la 72,5 milioane de spectatori ai transmisiunilor sportive în direct. La o asemenea scară, AI trebuie să fie rapidă, fiabilă și pregătită pentru producție.

Folosind API-ul OpenAI, JioStar a integrat în JioHotstar un asistent conversațional pentru descoperirea de conținut video și statistici de crichet. Spectatorii pot vorbi firesc pentru a găsi filme și seriale, momente memorabile din trecut, secvențe din meciuri în direct sau statistici de crichet, iar rezultatele sunt prezentate într-o experiență vizuală și conversațională.

La Executive Summit organizat de OpenAI în Singapore, Sidharth Sharma, responsabilul OpenAI pentru strategia de lansare pe piață în ASEAN, a discutat cu Vijay Seshadri, arhitect-șef la JioStar, despre dezvoltarea acestei experiențe în peste 15 limbi în aproximativ opt săptămâni și despre lecțiile utile liderilor care trec de la demonstrații AI la implementarea în producție.

Descoperirea conținutului a evoluat foarte puțin în ultimii 25 de ani. Recomandările au fost ultima schimbare majoră. Mare parte din ceea ce a urmat a reprezentat doar variații ale aceleiași idei.

Dar alegerea a ceea ce vrei să urmărești este profund personală. Cineva ar putea spune: „Sunt trist. Arată-mi ceva care să mă înveselească.” Chiar și această cerere simplă are multe nuanțe. Ce fel de tristețe simte? Ce înveselește de obicei acea persoană? Vrea o comedie, ceva reconfortant sau ceva care să-i distragă complet atenția?

Un sistem tradițional de recomandări poate avea dificultăți în a înțelege starea de moment. Conversația îi oferă spectatorului o modalitate de a o explica. Noi numim asta o interfață vocală și vizuală.

Am început să conturăm conceptul în octombrie și noiembrie, urmând ca în februarie să aibă loc un turneu important de crichet. Aveam la dispoziție aproximativ două luni și două categorii de public foarte diferite: spectatorii de divertisment și fanii crichetului.

Un spectator de divertisment ar putea spune: „E vineri seara — surprinde-mă” sau ar putea descrie un film fără să-i știe titlul. Spectatorii de sport pot dori informații mai precise, cum ar fi eliminările, o serie de lovituri de șase puncte sau meciul în care un jucător a înscris un anumit număr de puncte. Cunoscătorii crichetului pot dori statistici despre fiecare minge.

Acestea sunt probleme foarte diferite de descoperire a conținutului. Am lucrat la reunirea divertismentului, a momentelor sportive și a statisticilor detaliate de crichet într-o singură experiență, în mai multe limbi, într-un timp foarte scurt.

Încă de la început, am definit problema ca pe un compromis între trei factori: acuratețe, latență și cost. Fiecare decizie tehnică trebuia să găsească un echilibru între toți trei simultan.

Interacțiunea vocală făcea acest echilibru deosebit de important. Peste 60% dintre utilizatorii noștri folosesc vocea în locul textului: oamenii preferă să spună ce vor să urmărească. Răspunsul trebuie totuși să fie relevant, rapid și viabil economic la scară largă.

Îl văd ca având două componente: un cadru de evaluare și un nivel de validare. Înainte de implementarea în producție, cadrul de evaluare ar trebui să determine ajustări. În producție, o buclă de feedback ar trebui să transforme comportamentul clienților și erorile în noi cazuri de evaluare.

Acest ciclu se poate amplifica de la sine, dar este extrem de dificil să-l faci să funcționeze corect.

Experții în domeniu sunt esențiali. Pentru evaluările privind statisticile sportive, am colaborat cu oameni precum redactorii revistelor de sport, care înțelegeau ce ar putea întreba fanii pasionați. Nu poți porni doar de la o solicitare; trebuie să oferi sistemului, de la început, o bază solidă de cunoștințe de specialitate provenite de la oameni.

Un lucru pe care l-am făcut bine a fost alcătuirea echipei. Am început cu o echipă mică de specialiști în știința datelor și ingineri, pornind de la o problemă clar definită. Inginerii OpenAI specializați în implementarea la client au lucrat alături de noi pentru a identifica mai precis cele câteva aspecte la care nu ne puteam permite să greșim.

Primul a fost delimitarea funcționalităților. O interfață vocală sau text le permite utilizatorilor să întrebe aproape orice, așa că am început prin a decide la ce nu ar trebui să răspundă sistemul. Măsurile de protecție au fost pe primul loc.

Pentru evaluări, am pornit de la un set inițial de date și am folosit modele pentru a-l extinde și diversifica. Am creat ceea ce astăzi s-ar putea numi un mecanism de tip creator–verificator: un model ajuta la stabilirea modului de a răspunde la o întrebare, iar altul valida răspunsul — un LLM cu rol de arbitru — urmărind un obiectiv opus.

Asta a ridicat o altă întrebare: cine testează arbitrul? Proiectarea componentei de validare era, în sine, o problemă de evaluare. Codex a ajutat echipa să accelereze activități precum generarea cazurilor de evaluare și actualizarea sistemului, dar dezvoltarea mai rapidă nu a eliminat nevoia de discernământ și validare.

Aș investi mai devreme în monitorizarea eficacității modelelor în producție.

Indicatorii tradiționali de infrastructură, precum latența P99, rămân importanți, dar nu sunt suficienți. Trebuie să monitorizezi și eficacitatea modelelor în producție.

În primul rând, există un decalaj mare între ceea ce poate face tehnologia și realitatea dintr-o companie. Dacă firma voastră nu a ținut pasul cu fiecare anunț despre un model de vârf, nu sunteți singurii.

În al doilea rând, concentrați-vă în continuare pe rezultate, nu pe activitate. Este ușor să confunzi agitația vizibilă cu progresul real, mai ales când companiile pun accentul pe indicatori ai efortului depus. De exemplu, numărul de linii de cod generate nu vă spune dacă ați creat valoare reală.

În sfârșit, majoritatea companiilor subestimează competențele și autonomia de acțiune de care au nevoie oamenii. Nu poate fi vorba doar despre un program generic de formare. Liderii au nevoie de oameni care pot folosi aceste instrumente cu discernământ. Oferiți-i unui inginer foarte bun un instrument precum Codex, iar impactul se poate multiplica; fără discernământul necesar validării sistemelor în producție, se multiplică și riscul.

Aveți o rachetă în mâini. Mai ales în cazul sistemelor în producție, aveți nevoie de validare și de măsuri de protecție și trebuie să încredințați controlul oamenilor potriviți.