JioStar: descubrir contenido con IA para 500 millones de usuarios

Nuestra serie Executive Function recoge las perspectivas de líderes que impulsan la transformación mediante la IA.

JioStar gestiona plataformas de entretenimiento y deportes en directo que utilizan más de 500 millones de consumidores y ha llegado a dar servicio a 72,5 millones de espectadores simultáneos de deportes en directo. A esa escala, la IA tiene que ser rápida, fiable y estar lista para su uso en producción.

Con la API de OpenAI, JioStar desarrolló e integró en JioHotstar un asistente conversacional para descubrir vídeos y consultar estadísticas de críquet. Los espectadores pueden hablar con naturalidad para encontrar películas y series, momentos históricos destacados, jugadas de partidos en directo o estadísticas de críquet, y recibir los resultados a través de una experiencia visual y conversacional.

En la cumbre de directivos de OpenAI en Singapur, Sidharth Sharma, responsable de go-to-market de OpenAI para la ASEAN, conversó con Vijay Seshadri, arquitecto jefe de JioStar, sobre cómo desarrollaron la experiencia en más de 15 idiomas en unas ocho semanas y qué pueden aprender de ello los líderes que llevan la IA de la demostración a la producción.

La forma de descubrir contenido ha evolucionado muy poco en los últimos 25 años. Las recomendaciones fueron el último gran cambio. Gran parte de lo que vino después han sido variaciones de la misma idea.

Pero elegir qué ver es algo profundamente personal. Alguien podría decir: «Estoy triste. Enséñame algo que me anime». Incluso esa sencilla petición contiene muchos matices. ¿Qué tipo de tristeza siente? ¿Qué suele animar a esa persona? ¿Quiere una comedia, algo reconfortante o algo que le haga desconectar por completo?

A un sistema de recomendación tradicional puede costarle entender ese momento. La conversación permite al espectador explicarlo. Lo llamamos una interfaz de voz y elementos visuales.

Empezamos a dar forma al concepto en octubre y noviembre, con un gran torneo de críquet previsto para febrero. Teníamos unos dos meses y dos públicos muy distintos: los espectadores de entretenimiento y los aficionados al críquet.

Un espectador de entretenimiento podría decir: «Es viernes por la tarde, sorpréndeme», o describir una película sin saber el título. Los espectadores de deportes pueden querer información más concreta, como las eliminaciones de bateadores, una serie de golpes de seis carreras o el partido en el que un jugador anotó un número determinado de carreras. Los expertos en críquet pueden querer estadísticas de cada lanzamiento.

Son necesidades de búsqueda muy distintas. Trabajamos para reunir entretenimiento, momentos deportivos y estadísticas detalladas de críquet en una sola experiencia, en varios idiomas y en muy poco tiempo.

Desde el principio, planteamos el problema como la búsqueda de un equilibrio entre precisión, latencia y coste. Cada decisión de ingeniería tenía que equilibrar los tres factores a la vez.

El uso de la voz lo hacía especialmente importante. Más del 60 % de nuestros usuarios utilizan la voz en lugar del texto: la gente prefiere decir qué quiere ver. Aun así, la respuesta tiene que ser pertinente, rápida y económicamente viable a gran escala.

Lo concibo en dos partes: un marco de evaluación y una capa de validación. Antes de pasar a producción, el marco de evaluación debe impulsar cambios. En producción, un ciclo de retroalimentación debe convertir el comportamiento de los clientes y los fallos en nuevos casos de evaluación.

Ese ciclo puede reforzarse a sí mismo, pero conseguir que funcione bien es extremadamente difícil.

Los expertos en la materia son esenciales. Para las evaluaciones de estadísticas deportivas, trabajamos con profesionales como editores de revistas deportivas que sabían qué podían preguntar los aficionados más entendidos. No puedes partir solo de un prompt; tienes que dotar al sistema de una base de conocimientos humanos especializados.

Uno de nuestros aciertos fue el equipo. Empezamos con un pequeño equipo de científicos de datos e ingenieros y un problema claramente definido. Los ingenieros de OpenAI asignados al proyecto trabajaron codo con codo con nosotros para concretar los pocos aspectos en los que era imprescindible acertar.

El primero fue el alcance. Una interfaz de voz o texto permite a los usuarios preguntar casi cualquier cosa, así que empezamos por decidir qué no debía responder el sistema. Las salvaguardas fueron lo primero.

Para las evaluaciones, partimos de un conjunto de datos inicial y utilizamos modelos para ampliarlo con más variedad. Creamos lo que hoy podrías llamar un patrón de creador y verificador: un modelo ayudaba a determinar cómo responder a una pregunta, mientras que otro actuaba como validador —un LLM que hacía de juez— con un objetivo contrapuesto.

Eso planteó otra pregunta: ¿quién pone a prueba al juez? Diseñar el validador era, en sí mismo, un problema de evaluación. Codex ayudó al equipo a agilizar tareas como generar casos de evaluación y actualizar el sistema, pero desarrollar más rápido no eliminó la necesidad de aplicar criterio y validar.

Invertiría antes en supervisar la eficacia del modelo en producción.

Las métricas tradicionales de infraestructura, como la latencia P99, siguen siendo importantes, pero no bastan. También necesitas supervisar la eficacia del modelo en producción.

En primer lugar, hay una gran distancia entre lo que la tecnología puede hacer y la realidad interna de una empresa. Si tu empresa no ha seguido el ritmo de cada anuncio de un modelo de vanguardia, no eres el único.

En segundo lugar, sigue centrándote en los resultados y no en la actividad. Es fácil confundir la actividad visible con un progreso real, sobre todo cuando las empresas dan prioridad a las métricas de esfuerzo y recursos invertidos. El número de líneas de código generadas, por ejemplo, no te dice si has creado un valor significativo.

Por último, la mayoría de las empresas subestiman las competencias y la capacidad de decisión que necesitan las personas. Esto no puede limitarse a un programa de formación genérico. Los líderes necesitan personas que sepan aplicar estas herramientas con criterio. Dale a un buen ingeniero una herramienta como Codex y el impacto puede multiplicarse; sin el criterio necesario para validar los sistemas de producción, el riesgo también se multiplica.

Tienes un cohete en las manos. Especialmente en los sistemas de producción, necesitas validación y salvaguardas, y tienes que poner a las personas adecuadas a los mandos.