JioStar: descobrir continguts amb IA per a 500 M d'usuaris

La nostra sèrie Executive Function recull les perspectives de líders que impulsen la transformació a través de la IA.

JioStar gestiona plataformes d'entreteniment i esports en directe que utilitzen més de 500 milions de consumidors i ha arribat a donar servei a 72,5 milions d'espectadors simultanis d'esports en directe. A aquesta escala, la IA ha de ser ràpida, fiable i estar preparada per a la producció.

Amb l'API d'OpenAI, JioStar va crear i integrar a JioHotstar un assistent conversacional per descobrir vídeos i estadístiques de criquet. Els espectadors poden parlar amb naturalitat per trobar pel·lícules i sèries, moments històrics destacats, moments de partits en directe o estadístiques de criquet, i rebre els resultats a través d'una experiència visual i conversacional.

A la cimera de directius d'OpenAI a Singapur, Sidharth Sharma, responsable de l'estratègia de llançament d'OpenAI per a l'ASEAN, va parlar amb Vijay Seshadri, arquitecte en cap de JioStar, sobre com van crear aquesta experiència en més de 15 llengües en unes vuit setmanes i sobre les lliçons per als líders que porten la IA de la demostració a la producció.

La descoberta de continguts ha evolucionat molt poc en els darrers 25 anys. Les recomanacions van ser l'últim gran canvi. Bona part del que ha vingut després han estat variants de la mateixa idea.

Però triar què vols veure és una decisió profundament personal. Algú pot dir: "Estic trist. Mostra'm alguna cosa que m'animi." Fins i tot una petició tan senzilla conté molts matisos. Quina mena de tristesa sent? Què acostuma a animar aquesta persona? Vol una comèdia, algun contingut reconfortant o una cosa que la distregui del tot?

Un sistema de recomanacions tradicional pot tenir dificultats per entendre aquest moment. La conversa permet que l'espectador l'expliqui. D'això en diem una interfície de veu i imatge.

Vam començar a desenvolupar el concepte entre l'octubre i el novembre, amb un gran torneig de criquet previst per al febrer. Teníem uns dos mesos i dos públics molt diferents: els espectadors d'entreteniment i els aficionats al criquet.

Un espectador d'entreteniment podria dir: "És divendres al vespre, sorprèn-me", o descriure una pel·lícula sense saber-ne el títol. Els espectadors d'esports poden voler informació més concreta, com ara les eliminacions de batedors, una sèrie de cops de sis punts o el partit en què un jugador va anotar un nombre determinat de curses. Els experts en criquet poden voler estadístiques de cada llançament.

Són necessitats de descoberta molt diferents. Vam treballar per reunir entreteniment, moments esportius i estadístiques detallades de criquet en una sola experiència, en diverses llengües i en molt poc temps.

Des del principi, vam plantejar el problema com la cerca d'un equilibri entre tres factors: precisió, latència i cost. Cada decisió d'enginyeria havia d'equilibrar tots tres factors alhora.

L'ús de la veu ho feia especialment important. Més del 60 % dels nostres usuaris fan servir la veu en lloc del text: la gent prefereix dir què vol veure. La resposta ha de continuar sent pertinent, ràpida i econòmicament viable a gran escala.

Jo el concebo en dues parts: un marc d'avaluació i una capa de validació. Abans de passar a producció, el marc d'avaluació hauria d'impulsar canvis. En producció, un cicle de retroacció hauria de convertir el comportament dels clients i les fallades en nous casos d'avaluació.

Aquest cercle virtuós es pot reforçar a si mateix, però és molt difícil aconseguir que funcioni bé.

Els experts en la matèria són essencials. Per a les avaluacions d'estadístiques esportives, vam treballar amb professionals com ara editors de revistes esportives, que sabien què podien preguntar els aficionats més entesos. No es pot començar només amb una indicació; cal dotar el sistema, des del principi, de coneixement humà expert i profund.

Un dels nostres encerts va ser l'equip. Vam començar amb un petit equip de científics de dades i enginyers, i amb el problema ben definit. Els enginyers d'OpenAI que treballen directament amb els clients van col·laborar amb nosaltres per concretar els pocs aspectes clau en què no podíem fallar.

El primer era l'abast. Una interfície de veu o text permet als usuaris preguntar gairebé qualsevol cosa, així que vam començar decidint què no havia de respondre el sistema. Les mesures de protecció van ser el primer pas.

Per a les avaluacions, vam partir d'un conjunt de dades inicial i vam fer servir models per ampliar-lo amb més varietat. Vam crear el que avui podríem anomenar un patró de creador i verificador: un model ajudava a determinar com respondre una pregunta, mentre que un altre feia de validador —un LLM com a jutge— amb un objectiu contraposat.

Això va plantejar una altra pregunta: qui posa a prova el jutge? Dissenyar el validador era, en si mateix, un problema d'avaluació. Codex va ajudar l'equip a accelerar tasques com la generació de casos d'avaluació i l'actualització del sistema, però desenvolupar més de pressa no eliminava la necessitat d'aplicar criteri i validar.

Invertiria abans en el seguiment de l'eficàcia del model en producció.

Les mètriques tradicionals d'infraestructura, com ara la latència P99, continuen sent importants, però no n'hi ha prou. També cal fer un seguiment de l'eficàcia del model en producció.

En primer lloc, hi ha una gran distància entre el que pot fer la tecnologia i la realitat interna d'una empresa. Si la vostra empresa no ha pogut seguir el ritme de cada anunci d'un model d'avantguarda, no sou els únics.

En segon lloc, manteniu el focus en els resultats, no en l'activitat. És fàcil confondre l'activitat visible amb un progrés real, sobretot quan les empreses donen més pes a les mètriques d'esforç que a les de resultats. Les línies de codi generades, per exemple, no indiquen si heu creat un valor real.

Finalment, la majoria d'empreses subestimen les competències i la capacitat d'actuar de les persones que calen. Això no es pot limitar a un programa de formació genèric. Els líders necessiten persones capaces d'aplicar aquestes eines amb criteri. Doneu una eina com Codex a un bon enginyer i l'impacte es pot multiplicar; sense el criteri necessari per validar els sistemes en producció, el risc també es multiplica.

Teniu un coet a les mans. Sobretot en els sistemes en producció, calen validació i mesures de protecció, i cal confiar-ne el control a les persones adequades.