JioStarov arhitekt: AI pretraga za 500 milijuna korisnika

Naš serijal Executive Function donosi perspektive poslovnih čelnika koji potiču preobrazbu uz AI.

JioStar upravlja platformama za zabavu i sportske prijenose uživo kojima se koristi više od 500 milijuna korisnika, a sportske prijenose na njima istodobno je pratilo i do 72,5 milijuna gledatelja. Pri takvom opsegu AI mora biti brz, pouzdan i spreman za produkciju.

S pomoću API-ja tvrtke OpenAI JioStar je u JioHotstar ugradio razgovornog asistenta za pronalaženje videosadržaja i statistika kriketa. Gledatelji mogu prirodnim govorom pronaći filmove i serije, povijesne sportske trenutke, trenutke iz utakmica uživo ili statistike kriketa, a rezultati im se prikazuju vizualno, u sklopu razgovora.

Na skupu Executive Summit tvrtke OpenAI u Singapuru Sidharth Sharma, voditelj strategije izlaska na tržište za ASEAN u tvrtki OpenAI, razgovarao je s Vijayem Seshadrijem, glavnim arhitektom u JioStaru, o tome kako su u otprilike osam tjedana razvili to iskustvo za više od 15 jezika i što iz toga mogu naučiti čelnici koji AI uvode u produkciju nakon demonstracijske faze.

Način otkrivanja sadržaja vrlo se malo promijenio u posljednjih 25 godina. Preporuke su bile posljednja velika promjena. Većina onoga što je uslijedilo bila je tek dorada iste ideje.

No odabir onoga što ćemo gledati duboko je osoban. Netko bi mogao reći: „Tužno mi je. Pokaži mi nešto što će me razveseliti.” Čak i taj jednostavan zahtjev sadrži mnogo nijansi. O kakvoj je tuzi riječ? Što tu osobu obično razveseli? Želi li komediju, nešto utješno ili nešto što će joj potpuno odvratiti misli?

Tradicionalni sustav preporuka možda teško može razumjeti takav trenutak. Razgovor gledatelju omogućuje da ga objasni. To nazivamo glasovno-vizualnim sučeljem.

Koncept smo počeli razrađivati u listopadu i studenome, a veliki turnir u kriketu trebao se održati u veljači. Imali smo otprilike dva mjeseca i dvije vrlo različite skupine gledatelja: publiku zabavnog sadržaja i ljubitelje kriketa.

Gledatelj zabavnog sadržaja mogao bi reći: „Petak je navečer, iznenadi me” ili opisati film ne znajući mu naslov. Gledatelje sporta može zanimati nešto konkretnije, poput ispadanja udarača, niza udaraca za šest poena ili utakmice u kojoj je igrač postigao određeni broj poena. Poznavatelji kriketa možda žele statistiku za svaku bačenu lopticu.

To su vrlo različiti izazovi u pronalaženju sadržaja. Radili smo na tome da u vrlo kratkom roku objedinimo zabavu, sportske trenutke i detaljne statistike kriketa u jedno iskustvo na više jezika.

Vrlo smo rano problem definirali kao traženje ravnoteže između točnosti, latencije i troška. Svaka inženjerska odluka morala je istodobno uskladiti sva tri čimbenika.

Zbog glasovne interakcije to je bilo osobito važno. Više od 60 % naših korisnika upotrebljava glas umjesto teksta: ljudi radije izgovore što žele gledati. Odgovor i dalje mora biti relevantan, brz i ekonomski održiv pri velikom broju korisnika.

Za mene se sastoji od dvaju dijelova: evaluacijskog okvira i validacijskog sloja. Prije uvođenja u produkciju evaluacijski okvir trebao bi potaknuti promjene. U produkciji bi povratna sprega trebala pretvarati ponašanje korisnika i pogreške u nove evaluacijske slučajeve.

Taj se ciklus može sam pojačavati, ali iznimno ga je teško dobro uspostaviti.

Stručnjaci za pojedina područja neophodni su. Za evaluacije sportskih statistika surađivali smo, primjerice, s urednicima sportskih časopisa koji su razumjeli što bi predani navijači mogli pitati. Ne možete početi samo s upitom; sustav od početka morate temeljiti na dubokom stručnom znanju ljudi.

Jedna od stvari koje smo dobro napravili bio je odabir tima. Počeli smo s malim timom podatkovnih znanstvenika i inženjera te jasno definiranim problemom. Inženjeri tvrtke OpenAI zaduženi za izravnu suradnju s korisnicima radili su uz nas kako bismo dodatno utvrdili nekoliko ključnih stvari koje smo morali dobro napraviti.

Prva je bila opseg. Glasovno ili tekstualno sučelje korisnicima omogućuje da pitaju gotovo bilo što, pa smo najprije odlučili na što sustav ne bi trebao odgovarati. Zaštitni mehanizmi bili su na prvom mjestu.

Za evaluacije smo krenuli od početnog skupa podataka i s pomoću modela proširili ga raznovrsnijim primjerima. Stvorili smo ono što biste danas mogli nazvati obrascem izrade i provjere: jedan je model pomagao odrediti kako odgovoriti na pitanje, dok je drugi služio kao validator, odnosno LLM u ulozi suca, sa suprotstavljenim ciljem.

To je otvorilo novo pitanje: tko testira suca? Osmišljavanje validatora i samo je bilo evaluacijski izazov. Codex je timu pomogao ubrzati poslove poput generiranja evaluacijskih slučajeva i ažuriranja sustava, ali brži razvoj nije uklonio potrebu za prosudbom i validacijom.

Ranije bih uložio u praćenje učinkovitosti modela u produkciji.

Tradicionalni infrastrukturni pokazatelji, poput latencije P99, i dalje su važni, ali nisu dovoljni. Potrebno je pratiti i učinkovitost modela u produkciji.

Prvo, postoji velik jaz između mogućnosti tehnologije i stvarnosti u poduzećima. Ako vaša tvrtka nije uspjela držati korak sa svakom najavom graničnog modela, niste jedini.

Drugo, ostanite usredotočeni na rezultate, a ne na aktivnosti. Vidljivu aktivnost lako je zamijeniti za stvarni napredak, osobito kada tvrtke naglašavaju pokazatelje uloženog rada. Broj generiranih redaka koda, primjerice, ne govori vam jeste li stvorili stvarnu vrijednost.

Naposljetku, većina poduzeća podcjenjuje potrebnu razinu ljudskih vještina i samostalnog djelovanja. Nije dovoljan samo opći program razvoja vještina. Čelnicima trebaju ljudi koji znaju promišljeno primjenjivati te alate. Dajte vrsnom inženjeru alat poput Codexa i učinak se može višestruko povećati; bez dobre prosudbe pri validaciji produkcijskih sustava višestruko se povećava i rizik.

U rukama imate raketu. Osobito u produkcijskim sustavima potrebni su vam validacija i zaštitni mehanizmi, a ključeve morate dati pravim ljudima.