JioStar : la découverte par IA pour 500 millions d’utilisateurs

Notre série Executive Function présente les points de vue de dirigeants qui mènent la transformation grâce à l’IA.

JioStar exploite des plateformes de divertissement et de sports en direct utilisées par plus de 500 millions de consommateurs et a accueilli jusqu’à 72,5 millions de spectateurs simultanés lors de diffusions sportives en direct. À cette échelle, l’IA doit être rapide, fiable et prête pour la production.

À l’aide de l’API d’OpenAI, JioStar a intégré à JioHotstar un assistant conversationnel de découverte de vidéos et de statistiques de cricket. Les spectateurs peuvent parler naturellement pour trouver des films et des émissions, des faits saillants historiques, des moments de matchs en direct ou des statistiques de cricket, et obtenir les résultats dans une expérience visuelle et conversationnelle.

Lors du sommet des dirigeants d’OpenAI à Singapour, Sidharth Sharma, responsable de la stratégie de mise sur le marché d’OpenAI pour l’ANASE, s’est entretenu avec Vijay Seshadri, architecte en chef de JioStar, de la création de cette expérience dans plus de 15 langues en environ huit semaines, ainsi que des leçons à retenir pour les dirigeants qui font passer l’IA de la démonstration à la production.

La découverte de contenu a très peu évolué au cours des 25 dernières années. Les recommandations ont été le dernier grand changement. Une grande partie de ce qui a suivi n’a été qu’une déclinaison de la même idée.

Mais choisir quoi regarder est profondément personnel. Une personne pourrait dire : « Je me sens triste. Montre-moi quelque chose qui me remontera le moral. » Même cette simple demande comporte beaucoup de nuances. De quel genre de tristesse s’agit-il? Qu’est-ce qui remonte habituellement le moral à cette personne? Veut-elle une comédie, du contenu réconfortant ou quelque chose qui lui change complètement les idées?

Un système de recommandation traditionnel peut avoir du mal à comprendre ce moment. La conversation donne au spectateur un moyen de l’expliquer. Nous appelons cela une interface vocale et visuelle.

Nous avons commencé à travailler sur le concept en octobre et en novembre, en vue d’un grand tournoi de cricket prévu en février. Nous avions environ deux mois et deux publics très différents : les amateurs de divertissement et les adeptes de cricket.

Une personne en quête de divertissement pourrait dire : « C’est vendredi soir, surprends-moi », ou décrire un film sans en connaître le titre. Les amateurs de sports peuvent vouloir des renseignements plus précis, comme la chute des guichets, une série de coups de six ou le match au cours duquel un joueur a marqué un certain nombre de courses. Les experts du cricket peuvent vouloir des statistiques sur chaque balle.

Ce sont des problèmes de découverte très différents. Nous avons travaillé à réunir le divertissement, les moments sportifs et les statistiques détaillées de cricket dans une seule expérience, en plusieurs langues, en très peu de temps.

Très tôt, nous avons défini le problème comme un compromis entre trois facteurs : l’exactitude, la latence et le coût. Chaque décision d’ingénierie devait équilibrer les trois à la fois.

L’interaction vocale rendait cet équilibre particulièrement important. Plus de 60 % de nos utilisateurs se servent de la voix plutôt que du texte : les gens préfèrent dire ce qu’ils veulent regarder. La réponse doit tout de même être pertinente, rapide et économiquement viable à grande échelle.

Je le conçois en deux parties : un cadre d’évaluation et une couche de validation. Avant la mise en production, le cadre d’évaluation devrait entraîner des changements. En production, une boucle de rétroaction devrait transformer les comportements des clients et les échecs en nouveaux cas d’évaluation.

Ce cercle vertueux peut s’amplifier de lui-même, mais il est extrêmement difficile de le mettre au point.

Les experts du domaine sont essentiels. Pour les évaluations portant sur les statistiques sportives, nous avons travaillé avec des personnes comme des rédacteurs de magazines sportifs, qui comprenaient les questions que les passionnés pourraient poser. Vous ne pouvez pas commencer avec une invite seulement; vous devez alimenter le système avec une expertise humaine approfondie.

L’équipe est l’un de nos bons choix. Nous avons commencé avec une petite équipe de scientifiques des données et d’ingénieurs, réunie autour d’un problème clairement défini. Les ingénieurs d’OpenAI déployés sur le terrain ont travaillé à nos côtés pour mieux cerner les quelques éléments que nous devions absolument réussir.

Le premier était la portée. Une interface vocale ou textuelle permet aux utilisateurs de poser presque n’importe quelle question; nous avons donc commencé par décider à quoi le système ne devait pas répondre. Les garde-fous sont venus en premier.

Pour les évaluations, nous avons commencé avec un jeu de données initial et utilisé des modèles pour l’enrichir de variantes. Nous avons créé ce qu’on pourrait aujourd’hui appeler un schéma créateur-vérificateur : un modèle aidait à déterminer comment répondre à une question, tandis qu’un autre servait de validateur — un LLM comme juge — avec un objectif concurrent.

Cela a soulevé une autre question : qui teste le juge? La conception du validateur était en soi un problème d’évaluation. Codex a aidé l’équipe à accélérer des tâches comme la génération de cas d’évaluation et la mise à jour du système, mais développer plus vite n’a pas éliminé le besoin de jugement et de validation.

J’investirais plus tôt dans le suivi de l’efficacité des modèles en production.

Les mesures traditionnelles de l’infrastructure, comme la latence P99, restent importantes, mais elles ne suffisent pas. Il faut aussi surveiller l’efficacité des modèles en production.

Premièrement, il y a un grand écart entre ce que la technologie peut faire et la réalité au sein d’une entreprise. Si votre entreprise n’a pas suivi le rythme de chaque annonce de modèle de pointe, vous n’êtes pas seul.

Deuxièmement, continuez à vous concentrer sur les résultats plutôt que sur l’activité. Il est facile de confondre l’agitation visible avec des progrès significatifs, surtout lorsque les entreprises mettent l’accent sur les indicateurs d’intrants. Le nombre de lignes de code générées, par exemple, ne vous dit pas si vous avez créé une réelle valeur.

Enfin, la plupart des entreprises sous-estiment les compétences et la capacité d’action humaines nécessaires. Cela ne peut pas se limiter à un programme général de développement des compétences. Les dirigeants ont besoin de personnes capables d’utiliser ces outils avec discernement. Donnez un outil comme Codex à un ingénieur compétent et son impact peut se multiplier; sans le jugement nécessaire pour valider les systèmes en production, le risque se multiplie aussi.

Vous avez une fusée entre les mains. Surtout pour les systèmes en production, il vous faut de la validation et des garde-fous, et vous devez confier les clés aux bonnes personnes.