JioStarov arhitekt o AI pretrazi za 500 miliona korisnika

Naš serijal Izvršna funkcija donosi perspektive rukovodilaca koji pokreću transformaciju uz AI.

JioStar upravlja platformama za zabavu i sportske prijenose uživo koje koristi više od 500 miliona korisnika, a omogućio je praćenje sportskih prijenosa za čak 72,5 miliona istovremenih gledalaca. Pri tolikom obimu korištenja, AI mora biti brz, pouzdan i spreman za produkciju.

Koristeći OpenAI API, JioStar je u JioHotstar ugradio asistenta za pronalaženje videosadržaja i statistika kriketa putem razgovora. Gledaoci mogu prirodnim govorom tražiti filmove i serije, najzanimljivije trenutke iz prošlosti, trenutke iz utakmica uživo ili statistike kriketa, a rezultati im se prikazuju vizuelno, kroz razgovor.

Na samitu za rukovodioce koji je OpenAI održao u Singapuru, Sidharth Sharma, rukovodilac strategije izlaska na tržište kompanije OpenAI za ASEAN, razgovarao je s Vijayem Seshadrijem, glavnim arhitektom kompanije JioStar, o razvoju tog rješenja za više od 15 jezika za približno osam sedmica, te o poukama za rukovodioce koji uvode AI iz demonstracijske faze u produkciju.

Otkrivanje sadržaja vrlo se malo promijenilo u proteklih 25 godina. Preporuke su bile posljednja velika promjena. Mnogo toga što je uslijedilo bilo je tek varijacija iste ideje.

Ali izbor onoga što ćemo gledati duboko je ličan. Neko može reći: „Osjećam tugu. Pokaži mi nešto što će me razveseliti.“ Čak i taj jednostavan zahtjev sadrži mnogo nijansi. Kakva je to tuga? Šta tu osobu obično razveseli? Želi li komediju, nešto što pruža utjehu ili nešto što će joj potpuno skrenuti misli?

Tradicionalnom sistemu preporuka može biti teško da razumije taj trenutak. Razgovor gledaocu daje način da ga objasni. To nazivamo glasovno-vizuelnim interfejsom.

Koncept smo počeli razrađivati u oktobru i novembru, a veliki turnir u kriketu bio je zakazan za februar. Imali smo otprilike dva mjeseca i dvije vrlo različite publike: gledaoce zabavnog sadržaja i ljubitelje kriketa.

Gledalac zabavnog sadržaja može reći: „Petak je navečer — iznenadi me“, ili opisati film ne znajući njegov naslov. Gledaoci sporta možda žele konkretniji pregled, poput ispadanja udarača, niza šestica ili utakmice u kojoj je igrač ostvario određeni broj poena. Poznavaoci kriketa možda žele statistiku za svaku loptu.

To su vrlo različiti izazovi u pronalaženju sadržaja. Radili smo na tome da u vrlo kratkom roku objedinimo zabavni sadržaj, sportske trenutke i detaljne statistike kriketa u jedno iskustvo, na više jezika.

Vrlo rano smo problem postavili kao traženje kompromisa između tačnosti, vremena odziva i troškova. Svaka inženjerska odluka morala je istovremeno uravnotežiti sva tri faktora.

Glasovna interakcija činila je to posebno važnim. Više od 60% naših korisnika koristi glas umjesto teksta: ljudi radije izgovore šta žele gledati. Odgovor i dalje mora biti relevantan, brz i ekonomski održiv pri velikom obimu korištenja.

Posmatram ga kroz dva dijela: okvir za evaluaciju i sloj za validaciju. Prije ulaska u produkciju, okvir za evaluaciju treba potaknuti izmjene. U produkciji bi povratna sprega trebala pretvarati ponašanje korisnika i greške u nove evaluacijske slučajeve.

Taj ciklus može sam sebe dodatno poticati, ali izuzetno ga je teško pravilno uspostaviti.

Stručnjaci za datu oblast su neophodni. Za evaluacije sportskih statistika sarađivali smo, između ostalog, s urednicima sportskih časopisa koji su razumjeli šta bi strastveni ljubitelji sporta mogli pitati. Ne možete početi samo s upitom; sistem od početka morate zasnovati na dubokom stručnom znanju ljudi.

Jedna stvar koju smo dobro uradili bio je izbor tima. Počeli smo s malim timom stručnjaka za nauku o podacima i inženjera, okupljenim oko jasno definisanog problema. Inženjeri kompanije OpenAI zaduženi za rad direktno s klijentima sarađivali su s nama kako bismo preciznije utvrdili nekoliko stvari koje smo apsolutno morali uraditi kako treba.

Prva je bila opseg funkcionalnosti. Glasovni ili tekstualni interfejs omogućava korisnicima da pitaju gotovo bilo šta, pa smo počeli tako što smo odredili na šta sistem ne treba odgovarati. Zaštitne mjere bile su na prvom mjestu.

Za evaluacije smo krenuli od početnog skupa podataka i koristili modele da ga proširimo raznovrsnijim primjerima. Napravili smo ono što biste danas mogli nazvati obrascem „kreator–provjeravatelj“: jedan model pomagao je odrediti kako odgovoriti na pitanje, dok je drugi služio za validaciju — kao LLM u ulozi sudije — sa suprotstavljenim ciljem.

To je otvorilo još jedno pitanje: ko testira sudiju? Dizajniranje sistema za validaciju i samo je bilo izazov evaluacije. Codex je pomogao timu da ubrza zadatke poput generisanja evaluacijskih slučajeva i ažuriranja sistema, ali brži razvoj nije uklonio potrebu za prosuđivanjem i validacijom.

Ranije bih uložio u praćenje djelotvornosti modela u produkciji.

Tradicionalne infrastrukturne metrike, poput vremena odziva na 99. percentilu (P99), i dalje su važne, ali nisu dovoljne. Morate pratiti i djelotvornost modela u produkciji.

Prvo, postoji veliki jaz između mogućnosti tehnologije i stvarnosti unutar preduzeća. Ako vaša kompanija nije održala korak sa svakom objavom graničnog modela, niste jedini.

Drugo, ostanite usmjereni na rezultate, a ne na aktivnosti. Lako je vidljivu aktivnost zamijeniti za stvarni napredak, posebno kada kompanije naglašavaju metrike uloženog rada. Broj generisanih redova koda, naprimjer, ne govori vam jeste li stvorili stvarnu vrijednost.

Konačno, većina preduzeća potcjenjuje koliko su potrebne ljudske vještine i sposobnost samostalnog djelovanja. To se ne može svesti samo na opći program obuke. Rukovodiocima su potrebni ljudi koji ove alate znaju primijeniti uz dobro prosuđivanje. Dajte vrsnom inženjeru alat poput Codexa i učinak se može višestruko povećati; bez sposobnosti prosuđivanja potrebne za validaciju produkcijskih sistema, višestruko raste i rizik.

U rukama imate raketu. Posebno u produkcijskim sistemima potrebne su vam validacija i zaštitne mjere, a upravljanje morate povjeriti pravim ljudima.