Architekt JioStar: hľadanie obsahu s AI pre 500 miliónov ľudí

Naša séria Executive Function prináša pohľady lídrov, ktorí pomocou AI menia fungovanie organizácií.

JioStar prevádzkuje platformy so zábavným obsahom a živými športovými prenosmi, ktoré využíva viac ako 500 miliónov spotrebiteľov. Pri živých športových prenosoch už obslúžili až 72,5 milióna súbežných divákov. V takomto rozsahu musí byť AI rýchla, spoľahlivá a pripravená na produkčnú prevádzku.

Pomocou OpenAI API spoločnosť JioStar vytvorila a integrovala do JioHotstar konverzačného asistenta na vyhľadávanie videí a kriketových štatistík. Diváci môžu prirodzenou rečou vyhľadávať filmy a seriály, pamätné momenty z minulosti, momenty z práve hraných zápasov či kriketové štatistiky. Výsledky sa im zobrazujú vizuálne v rámci konverzácie.

Na podujatí Executive Summit spoločnosti OpenAI v Singapure sa Sidharth Sharma, vedúci pre uvedenie na trh v regióne ASEAN v OpenAI, rozprával s Vijayom Seshadrim, hlavným architektom JioStar. Hovorili o tom, ako toto riešenie vytvorili pre viac ako 15 jazykov približne za osem týždňov, a o ponaučeniach pre lídrov, ktorí posúvajú AI od ukážok k produkčnej prevádzke.

Spôsob objavovania obsahu sa za posledných 25 rokov zmenil len veľmi málo. Posledným veľkým posunom boli odporúčania. Veľká časť toho, čo nasledovalo, bola len obmenou tej istej myšlienky.

Výber toho, čo si pozrieme, je však veľmi osobný. Človek môže povedať: „Je mi smutno. Ukáž mi niečo, čo ma rozveselí.“ Aj v takejto jednoduchej požiadavke sa skrýva veľa odtieňov. O aký smútok ide? Čo tohto človeka zvyčajne rozveselí? Chce komédiu, niečo príjemné na upokojenie alebo niečo, pri čom úplne príde na iné myšlienky?

Tradičný systém odporúčaní môže mať problém pochopiť túto situáciu. Konverzácia dáva divákovi možnosť vysvetliť ju. Nazývame to hlasovo-vizuálne rozhranie.

Koncept sme začali rozpracúvať v októbri a novembri, pričom vo februári nás čakal veľký kriketový turnaj. Mali sme približne dva mesiace a dve veľmi odlišné skupiny používateľov: divákov zábavného obsahu a fanúšikov kriketu.

Divák zábavného obsahu môže povedať: „Je piatok večer, prekvap ma,“ alebo opísať film bez toho, aby poznal jeho názov. Športoví diváci môžu chcieť konkrétnejší prehľad, napríklad vypadnutia pálkarov, sériu šestiek alebo zápas, v ktorom hráč získal určitý počet prebehov. Znalci kriketu môžu chcieť štatistiky ku každej loptičke.

Z hľadiska vyhľadávania ide o veľmi odlišné problémy. Pracovali sme na tom, aby sme vo veľmi krátkom čase spojili zábavný obsah, športové momenty a podrobné kriketové štatistiky do jedného riešenia vo viacerých jazykoch.

Už na začiatku sme problém definovali ako hľadanie rovnováhy medzi presnosťou, latenciou a nákladmi. Každé technické rozhodnutie muselo vyvažovať všetky tri faktory naraz.

Pri hlasovom ovládaní to bolo obzvlášť dôležité. Viac ako 60 % našich používateľov uprednostňuje hlas pred textom: ľudia radšej povedia, čo chcú pozerať. Odpoveď však musí byť relevantná, rýchla a ekonomicky udržateľná aj pri veľkom rozsahu prevádzky.

Vnímam ho ako dve časti: hodnotiaci rámec a validačnú vrstvu. Pred nasadením do produkcie by mal hodnotiaci rámec poskytovať podnety na zmeny. V produkčnej prevádzke by mala spätná väzba premieňať správanie zákazníkov a zlyhania na nové testovacie prípady.

Tento cyklus sa môže postupne sám posilňovať, no správne ho nastaviť je mimoriadne náročné.

Odborníci na danú oblasť sú nevyhnutní. Pri hodnotení športových štatistík sme spolupracovali napríklad s redaktormi športových časopisov, ktorí vedeli, na čo sa môžu pýtať zanietení fanúšikovia. Nemôžete začať iba príkazom; systém musíte od začiatku založiť na hlbokých odborných znalostiach ľudí.

Jednou z vecí, ktoré sa nám podarili, bolo zostavenie tímu. Začali sme s malým tímom dátových vedcov a vývojárov a jasne definovaným problémom. Inžinieri OpenAI, ktorí pracujú priamo so zákazníkmi, nám pomáhali bližšie určiť tých niekoľko vecí, ktoré sme nevyhnutne museli zvládnuť správne.

Prvou bolo vymedzenie rozsahu. Hlasové či textové rozhranie umožňuje používateľom pýtať sa takmer na čokoľvek, preto sme najprv rozhodli, na čo by systém nemal odpovedať. Na prvom mieste boli ochranné opatrenia.

Pri hodnotení sme začali so základným súborom údajov a pomocou modelov sme ho rozšírili o ďalšie varianty. Vytvorili sme to, čo by sa dnes dalo nazvať princípom tvorcu a kontrolóra: jeden model pomáhal určiť, ako odpovedať na otázku, zatiaľ čo druhý plnil úlohu validátora – LLM ako rozhodcu – s protichodným cieľom.

To prinieslo ďalšiu otázku: kto otestuje rozhodcu? Samotný návrh validátora si vyžadoval vyriešiť problém hodnotenia. Codex pomohol tímu urýchliť prácu, napríklad generovanie testovacích prípadov a aktualizácie systému, no rýchlejší vývoj neodstránil potrebu odborného úsudku a validácie.

Skôr by som investoval do monitorovania účinnosti modelov v produkčnej prevádzke.

Tradičné metriky infraštruktúry, ako je latencia P99, sú stále dôležité, ale nestačia. Musíte sledovať aj účinnosť modelov v produkčnej prevádzke.

Po prvé, medzi možnosťami technológií a realitou vo firmách je veľký rozdiel. Ak vaša firma nedokázala držať krok s každým oznámením prelomového modelu, nie ste v tom sami.

Po druhé, sústreďte sa na výsledky, nie na samotnú aktivitu. Viditeľnú aktivitu si možno ľahko pomýliť so skutočným pokrokom, najmä keď firmy kladú dôraz na vstupné metriky. Napríklad počet vygenerovaných riadkov kódu vám nepovie, či ste vytvorili skutočnú hodnotu.

A napokon, väčšina firiem podceňuje potrebné ľudské zručnosti a schopnosť samostatne konať. Nemôže ísť len o všeobecný program rozvoja zručností. Lídri potrebujú ľudí, ktorí dokážu tieto nástroje používať s rozvahou. Ak dáte schopnému vývojárovi nástroj ako Codex, jeho prínos sa môže znásobiť; bez odborného úsudku potrebného na overovanie produkčných systémov sa však znásobuje aj riziko.

V rukách máte raketu. Najmä pri produkčných systémoch potrebujete validáciu a ochranné opatrenia a musíte zveriť riadenie tým správnym ľuďom.