Архітектор JioStar про ШІ-пошук для 500 млн користувачів

У нашій серії «Функція керівника» лідери, які впроваджують зміни за допомогою ШІ, діляться своїми поглядами.

JioStar керує платформами розважального контенту й прямих спортивних трансляцій, якими користуються понад 500 мільйонів людей. Під час спортивних трансляцій кількість одночасних глядачів сягала 72,5 мільйона. За такого масштабу ШІ має бути швидким, надійним і готовим до промислової експлуатації.

За допомогою API OpenAI компанія JioStar вбудувала в JioHotstar розмовного помічника для пошуку відео та крикетної статистики. Глядачі можуть звичайною мовою попросити знайти фільми й серіали, яскраві епізоди минулих ігор, моменти поточних матчів або крикетну статистику — й отримати результати у візуальному розмовному інтерфейсі.

На саміті керівників OpenAI в Сінгапурі Сідгарт Шарма, керівник напряму стратегії виходу на ринок OpenAI в країнах АСЕАН, поспілкувався з Віджаєм Сешадрі, головним архітектором JioStar. Вони обговорили створення цього рішення з підтримкою понад 15 мов приблизно за вісім тижнів і висновки для керівників, які переводять ШІ з демонстраційного режиму в промислову експлуатацію.

За останні 25 років пошук контенту майже не змінився. Останньою суттєвою зміною стали рекомендації. Більшість подальших нововведень були варіаціями тієї самої ідеї.

Але вибір того, що подивитися, — глибоко особиста справа. Людина може сказати: «Мені сумно. Покажи щось, що підніме мені настрій». Навіть у такому простому проханні є чимало нюансів. Що це за смуток? Що зазвичай піднімає цій людині настрій? Їй хочеться комедії, чогось затишного чи такого, що допоможе цілковито відволіктися?

Традиційній рекомендаційній системі може бути важко зрозуміти цей стан. Розмова дає глядачеві змогу його пояснити. Ми називаємо це голосовим візуальним інтерфейсом.

Ми почали опрацьовувати концепцію в жовтні–листопаді, а на лютий був запланований великий крикетний турнір. У нас було приблизно два місяці й дві дуже різні аудиторії: глядачі розважального контенту та шанувальники крикету.

Глядач розважального контенту може сказати: «Сьогодні вечір п’ятниці — здивуй мене» або описати фільм, не знаючи його назви. Спортивним уболівальникам можуть бути потрібні конкретніші моменти: падіння хвірток, серія шісток або матч, у якому гравець набрав певну кількість ранів. Знавці крикету можуть шукати статистику кожної подачі.

Це дуже різні пошукові завдання. За дуже короткий час ми мали об’єднати розважальний контент, спортивні моменти й докладну крикетну статистику в одному багатомовному рішенні.

Від самого початку ми розглядали завдання як пошук балансу між трьома чинниками: точністю, затримкою та вартістю. Кожне інженерне рішення мало одночасно враховувати всі три.

Голосова взаємодія робила цей баланс особливо важливим. Понад 60% наших користувачів обирають голос замість тексту: люди воліють уголос сказати, що хочуть подивитися. Водночас відповідь має бути доречною, швидкою та економічно виправданою навіть за великого масштабу.

Я виділяю в ній дві складові: систему оцінювання та рівень валідації. До запуску в експлуатацію система оцінювання має підказувати, що потрібно змінити. Після запуску цикл зворотного зв’язку має перетворювати поведінку користувачів і збої на нові тестові випадки для оцінювання.

Цей цикл може підсилювати сам себе, але налагодити його правильно надзвичайно складно.

Без галузевих експертів не обійтися. Для оцінювання роботи зі спортивною статистикою ми залучали, зокрема, редакторів спортивних журналів, які розуміли, про що можуть запитувати завзяті вболівальники. Починати з одного лише запиту не можна: в основу системи потрібно закласти глибокі знання фахівців.

Одне з наших вдалих рішень — добір команди. Ми почали з невеликої команди фахівців із науки про дані та інженерів, об’єднаних навколо чітко сформульованого завдання. Інженери OpenAI, які працюють безпосередньо з командами клієнтів, допомогли нам точніше визначити кілька ключових речей, у яких ми не могли дозволити собі помилитися.

Насамперед — межі можливостей системи. Голосовий або текстовий інтерфейс дає користувачам змогу запитувати майже про будь-що, тож спершу ми визначили, на які запитання система не повинна відповідати. Захисні механізми були на першому місці.

Для оцінювання ми взяли початковий набір даних і за допомогою моделей доповнили його різноманітнішими варіантами. Ми створили схему, яку нині можна назвати «виконавець — контролер»: одна модель допомагала визначити, як відповісти на запитання, а інша перевіряла результат — виконувала роль LLM-судді з протилежною метою.

Тут виникло інше запитання: хто перевіряє суддю? Розроблення валідатора саме по собі стало завданням з оцінювання. Codex допоміг команді прискорити такі завдання, як створення тестових випадків для оцінювання й оновлення системи. Але швидша розробка не усунула потреби у зважених рішеннях і валідації.

Я б раніше вклав ресурси в моніторинг ефективності моделі в промисловій експлуатації.

Традиційні інфраструктурні показники, як-от затримка P99, залишаються важливими, але їх недостатньо. Потрібно також відстежувати ефективність моделі в реальних умовах роботи.

По-перше, між можливостями технології та реаліями всередині підприємства є великий розрив. Якщо ваша компанія не встигає за кожним анонсом передової моделі, ви не самотні.

По-друге, зосереджуйтеся на результатах, а не на активності. Видиму активність легко сплутати з реальним поступом, особливо коли компанії наголошують на показниках витрачених зусиль. Наприклад, кількість згенерованих рядків коду не свідчить про те, чи створили ви реальну цінність.

І нарешті, більшість підприємств недооцінюють необхідний рівень людської майстерності та самостійності в ухваленні рішень. Тут не обійтися лише загальною програмою розвитку навичок. Керівникам потрібні люди, які вміють зважено застосовувати ці інструменти. Дайте сильному інженерові такий інструмент, як Codex, — і результативність може зрости в рази. Але без уміння критично перевіряти промислові системи так само зростає й ризик.

У ваших руках — ракета. Особливо в промислових системах потрібні валідація й захисні механізми, а керування слід довірити тим, хто до цього готовий.