JioStar: MI-s tartalomkeresés 500 millió felhasználónak

Executive Function című sorozatunkban olyan vezetők osztják meg tapasztalataikat, akik az MI segítségével viszik előre az átalakulást.

A JioStar több mint 500 millió fogyasztó által használt szórakoztató és élő sportközvetítési platformokat üzemeltet, és már 72,5 millió egyidejű nézőt is kiszolgált élő sportközvetítéseivel. Ekkora léptékben az MI-nek gyorsnak, megbízhatónak és éles használatra késznek kell lennie.

A JioStar az OpenAI API segítségével egy beszélgetésalapú asszisztenst épített a JioHotstarba videók és krikettstatisztikák keresésére. A nézők természetes beszéddel kereshetnek filmeket, műsorokat, emlékezetes sportpillanatokat, élő mérkőzések jeleneteit vagy krikettstatisztikákat, a találatok pedig egy vizuális, beszélgetésalapú felületen jelennek meg.

Az OpenAI szingapúri Executive Summit rendezvényén Sidharth Sharma, az OpenAI ASEAN-régióbeli piaci bevezetésért felelős vezetője Vijay Seshadrival, a JioStar vezető rendszertervezőjével beszélgetett arról, hogyan fejlesztették ki a több mint 15 nyelvet támogató megoldást mintegy nyolc hét alatt, és mit tanulhatnak ebből azok a vezetők, akik az MI-t a bemutatóktól az éles használatig szeretnék eljuttatni.

A tartalomkeresés nagyon keveset fejlődött az elmúlt 25 évben. Az utolsó nagy változást az ajánlások jelentették. Azóta jobbára csak ugyanazt az ötletet csiszolgatjuk.

Pedig az, hogy mit szeretnénk nézni, nagyon is személyes kérdés. Valaki például azt mondhatja: „Szomorú vagyok. Mutass valamit, ami felvidít.” Már ebben az egyszerű kérésben is rengeteg árnyalat rejlik. Milyen jellegű ez a szomorúság? Mi szokta felvidítani az illetőt? Vígjátékra vágyik, valami megnyugtató néznivalóra, vagy olyasmire, ami teljesen eltereli a figyelmét?

Egy hagyományos ajánlórendszer nehezen értheti meg ezt a pillanatnyi igényt. A beszélgetés viszont lehetőséget ad a nézőnek, hogy elmagyarázza. Ezt nevezzük hangot és képet ötvöző felületnek.

Októberben és novemberben kezdtük kidolgozni a koncepciót, miközben februárban már egy nagyszabású krikett-torna várt ránk. Nagyjából két hónapunk volt, és két nagyon eltérő közönséget kellett kiszolgálnunk: a szórakoztató tartalmak nézőit és a krikettrajongókat.

Aki szórakozni szeretne, mondhatja például, hogy „Péntek este van, lepj meg!”, vagy körülírhat egy filmet anélkül, hogy tudná a címét. A sportnézőket konkrétabb események érdekelhetik: például a kiesések, egy hatpontos ütésekből álló sorozat, vagy az a mérkőzés, amelyen egy játékos meghatározott számú futást szerzett. A krikett szakértői pedig akár minden egyes dobásról statisztikát szeretnének.

Ezek nagyon különböző keresési feladatok. Azon dolgoztunk, hogy a szórakoztató tartalmakat, a sportpillanatokat és a részletes krikettstatisztikákat egyetlen, többnyelvű felületen tegyük elérhetővé, nagyon rövid idő alatt.

Már az elején úgy fogalmaztuk meg a feladatot, hogy három szempont között kell egyensúlyt találnunk: a pontosság, a válaszidő és a költség között. Minden mérnöki döntésnél egyszerre kellett mérlegelnünk mindhármat.

A hangalapú használat ezt különösen fontossá tette. Felhasználóink több mint 60%-a szöveg helyett hangot használ: az emberek szívesebben mondják el szóban, mit szeretnének nézni. A válasznak így is relevánsnak és gyorsnak kell lennie, a szolgáltatásnak pedig nagy léptékben is gazdaságosan kell működnie.

Én két részben gondolkodom: egy értékelési keretrendszerben és egy validációs rétegben. Az éles indulás előtt az értékelési keretrendszernek kell megmutatnia, min szükséges változtatni. Éles üzemben pedig egy visszacsatolási folyamatnak kell az ügyfelek viselkedését és a hibákat új értékelési tesztesetekké alakítania.

Ez a körforgás önmagát erősítheti, de rendkívül nehéz jól kialakítani.

A szakterület szakértői nélkülözhetetlenek. A sportstatisztikai értékelésekhez például sportmagazinok szerkesztőivel dolgoztunk együtt, akik tudták, mire lehetnek kíváncsiak a vérbeli rajongók. Nem elég egy utasítással kezdeni; a rendszert már az elején alapos emberi szaktudásra kell építeni.

Az egyik jó döntésünk a csapat összeállítása volt. Adattudósokból és mérnökökből álló kis csapattal indultunk, egy világosan megfogalmazott probléma megoldására. Az OpenAI hozzánk kihelyezett mérnökei velünk együtt dolgozva segítettek pontosabban meghatározni azt a néhány dolgot, amelynek feltétlenül jól kellett működnie.

Az első a működési kör meghatározása volt. Egy hang- vagy szövegalapú felületen a felhasználók szinte bármit megkérdezhetnek, ezért először azt döntöttük el, mire ne válaszoljon a rendszer. A védőkorlátok voltak az elsők.

Az értékelésekhez egy kiinduló adatkészletet használtunk, amelyet modellek segítségével további változatokkal bővítettünk. Egy olyan megoldást hoztunk létre, amelyet ma talán készítő–ellenőrző mintának neveznénk: az egyik modell segített meghatározni, hogyan válaszoljunk egy kérdésre, míg a másik validátorként – bírói szerepű LLM-ként – működött, az elsőével versengő céllal.

Ez újabb kérdést vetett fel: ki teszteli a bírót? A validátor megtervezése önmagában is értékelési feladat volt. A Codex felgyorsította a csapat munkáját, például az értékelési tesztesetek előállítását és a rendszer frissítését, de a gyorsabb fejlesztés nem tette feleslegessé a szakmai mérlegelést és a validációt.

Korábban fordítanék erőforrásokat a modell eredményességének éles üzemben történő nyomon követésére.

A hagyományos infrastruktúra-mutatók, például a P99 válaszidő továbbra is fontosak, de önmagukban nem elegendők. A modell eredményességét is figyelemmel kell kísérni éles üzemben.

Először is nagy a szakadék a technológia lehetőségei és a vállalatokon belüli valóság között. Ha a vállalatuk nem tartott lépést minden új élvonalbeli modell bejelentésével, nincsenek egyedül.

Másodszor: továbbra is az eredményekre összpontosítsanak, ne pusztán az elvégzett munkára. Könnyű összetéveszteni a látványos sürgés-forgást az érdemi előrelépéssel, különösen akkor, ha a vállalatok a ráfordításokat mérő mutatókat helyezik előtérbe. A generált kódsorok száma például nem árulja el, hogy teremtettünk-e érdemi értéket.

Végül a legtöbb vállalat alábecsüli, mekkora emberi szakértelemre és önálló döntésképességre van szükség. Ezt nem lehet egy általános készségfejlesztő programmal elintézni. A vezetőknek olyan emberekre van szükségük, akik jó ítélőképességgel tudják alkalmazni ezeket az eszközöket. Ha egy kiváló mérnök kezébe olyan eszközt adunk, mint a Codex, megsokszorozhatjuk a munkája hatását; az éles rendszerek validálásához szükséges ítélőképesség nélkül viszont a kockázat is megsokszorozódik.

Egy rakéta van a kezünkben. Különösen éles rendszerekben van szükség validációra és védőkorlátokra, az irányítást pedig a megfelelő emberekre kell bízni.