JioStar: descubrir contenido con IA para 500 millones de usuarios

Nuestra serie Executive Function presenta las perspectivas de líderes que impulsan la transformación a través de la IA.

JioStar opera plataformas de entretenimiento y deportes en vivo que usan más de 500 millones de personas y ha llegado a tener hasta 72.5 millones de espectadores simultáneos de deportes en vivo. A esa escala, la IA debe ser rápida, confiable y estar lista para producción.

Con la API de OpenAI, JioStar creó e integró en JioHotstar un asistente conversacional para descubrir videos y estadísticas de críquet. Los espectadores pueden hablar con naturalidad para encontrar películas y series, momentos históricos destacados, jugadas de partidos en vivo o estadísticas de críquet, y recibir los resultados en una experiencia visual y conversacional.

En la Cumbre ejecutiva de OpenAI en Singapur, Sidharth Sharma, director de go-to-market de OpenAI para la ASEAN, conversó con Vijay Seshadri, arquitecto jefe de JioStar, sobre cómo desarrollaron la experiencia para más de 15 idiomas en unas ocho semanas y las lecciones para los líderes que llevan la IA de la demostración a producción.

La forma de descubrir contenido ha evolucionado muy poco en los últimos 25 años. Las recomendaciones fueron el último gran cambio. Gran parte de lo que vino después ha sido una variación de la misma idea.

Pero elegir qué ver es algo profundamente personal. Alguien podría decir: "Me siento triste. Muéstrame algo que me anime". Incluso esa simple petición tiene muchos matices. ¿Qué tipo de tristeza siente? ¿Qué suele animar a esa persona? ¿Quiere una comedia, algo que la reconforte o algo que la distraiga por completo?

A un sistema de recomendaciones tradicional puede costarle entender ese momento. La conversación le permite al espectador explicarlo. A esto lo llamamos una interfaz que combina voz y elementos visuales.

Empezamos a desarrollar el concepto entre octubre y noviembre, con un gran torneo de críquet previsto para febrero. Teníamos unos dos meses y dos públicos muy diferentes: espectadores de entretenimiento y aficionados al críquet.

Quien busca algo para ver podría decir: "Es viernes por la noche; sorpréndeme" o describir una película sin saber su título. Quienes quieren ver deportes pueden buscar información más específica, como las eliminaciones de bateadores, una racha de golpes que sumaron seis carreras cada uno o el partido en el que un jugador anotó cierta cantidad de carreras. Los expertos en críquet pueden querer estadísticas de cada lanzamiento.

Son problemas de descubrimiento muy diferentes. Trabajamos para reunir entretenimiento, momentos deportivos y estadísticas detalladas de críquet en una sola experiencia, en varios idiomas y en muy poco tiempo.

Desde el principio, planteamos el problema como un equilibrio entre tres factores: precisión, latencia y costo. Cada decisión de ingeniería debía equilibrar los tres a la vez.

El uso de la voz hacía que esto fuera especialmente importante. Más del 60 % de nuestros usuarios usa la voz en lugar de texto: las personas prefieren decir qué quieren ver. Aun así, la respuesta debe ser pertinente, rápida y económicamente viable a gran escala.

Lo concibo en dos partes: un marco de evaluación y una capa de validación. Antes de pasar a producción, el marco de evaluación debe impulsar cambios. En producción, un ciclo de retroalimentación debe convertir el comportamiento de los clientes y las fallas en nuevos casos de evaluación.

Ese ciclo puede reforzarse a sí mismo, pero lograr que funcione bien es extremadamente difícil.

Los expertos en la materia son esenciales. Para las evaluaciones de estadísticas deportivas, trabajamos con personas como editores de revistas deportivas que entendían qué podían preguntar los aficionados más dedicados. No puedes empezar solo con un prompt; necesitas dotar al sistema de conocimientos humanos especializados desde el inicio.

Uno de nuestros aciertos fue el equipo. Empezamos con un equipo pequeño de científicos de datos e ingenieros, con una definición clara del problema. Los ingenieros de implementación para clientes de OpenAI trabajaron junto a nosotros para precisar los pocos aspectos en los que no podíamos fallar.

El primero fue el alcance. Una interfaz de voz o texto permite a los usuarios preguntar casi cualquier cosa, así que empezamos por decidir qué no debía responder el sistema. Las medidas de protección fueron lo primero.

Para las evaluaciones, partimos de un conjunto de datos inicial y usamos modelos para ampliarlo con más variaciones. Creamos lo que hoy podrías llamar un patrón de creación y verificación: un modelo ayudaba a determinar cómo responder una pregunta, mientras que otro actuaba como validador —un LLM como juez— con un objetivo contrapuesto.

Eso planteó otra pregunta: ¿quién pone a prueba al juez? Diseñar el validador era, en sí mismo, un problema de evaluación. Codex ayudó al equipo a acelerar tareas como generar casos de evaluación y actualizar el sistema, pero desarrollar más rápido no eliminó la necesidad de aplicar criterio y validar.

Invertiría antes en monitorear la eficacia del modelo en producción.

Las métricas tradicionales de infraestructura, como la latencia P99, siguen siendo importantes, pero no bastan. También necesitas monitorear la eficacia del modelo en producción.

Primero, hay una gran brecha entre lo que la tecnología puede hacer y la realidad interna de una empresa. Si tu empresa no ha seguido el ritmo de cada anuncio de modelos de vanguardia, no eres el único.

Segundo, mantén el foco en los resultados, no en la actividad. Es fácil confundir la actividad visible con avances significativos, sobre todo cuando las empresas se centran en métricas de esfuerzo. Las líneas de código generadas, por ejemplo, no te dicen si creaste valor significativo.

Por último, la mayoría de las empresas subestima las habilidades y la autonomía que se requieren de las personas. Esto no puede limitarse a un programa de capacitación genérico. Los líderes necesitan personas que sepan aplicar estas herramientas con criterio. Dale a un buen ingeniero una herramienta como Codex y el impacto puede multiplicarse; sin el criterio necesario para validar sistemas en producción, el riesgo también se multiplica.

Tienes un cohete en tus manos. Especialmente en los sistemas en producción, necesitas validación y medidas de protección, y debes poner a las personas adecuadas al mando.