JioStarov arhitekt o iskanju z UI za 500 milijonov uporabnikov

V seriji Executive Function predstavljamo poglede vodilnih, ki s pomočjo UI spodbujajo preobrazbo.

JioStar upravlja platforme za razvedrilne vsebine in športne prenose v živo, ki jih uporablja več kot 500 milijonov uporabnikov. Športne prenose je hkrati spremljalo že kar 72,5 milijona gledalcev. Pri takšnem obsegu mora biti UI hitra, zanesljiva in pripravljena za produkcijsko uporabo.

JioStar je z API-jem OpenAI v JioHotstar vgradil pogovornega pomočnika za iskanje videovsebin in statistike kriketa. Gledalci lahko v naravnem govoru iščejo filme in oddaje, vrhunce preteklih tekem, trenutke s tekem v živo ali statistiko kriketa, rezultate pa dobijo v vizualnem pogovornem vmesniku.

Na vrhu vodilnih, ki ga je OpenAI organiziral v Singapurju, se je Sidharth Sharma, vodja strategije lansiranja na trg za ASEAN pri OpenAI, pogovarjal z Vijayem Seshadrijem, glavnim arhitektom pri JioStar. Govorila sta o razvoju te rešitve za več kot 15 jezikov v približno osmih tednih ter o naukih za vodilne, ki UI prenašajo iz predstavitvenih različic v produkcijo.

Odkrivanje vsebin se je v zadnjih 25 letih zelo malo spremenilo. Zadnji večji premik so bila priporočila. Večina tega, kar je sledilo, so bile le različice iste zamisli.

Toda izbira vsebine za ogled je zelo osebna. Nekdo lahko reče: »Žalostno mi je. Pokaži mi nekaj, kar me bo razvedrilo.« Že ta preprosta prošnja skriva veliko odtenkov. Za kakšno žalost gre? Kaj to osebo običajno razvedri? Si želi komedije, nečesa pomirjujočega ali vsebine, ob kateri bo povsem odmislila skrbi?

Tradicionalni sistem priporočil morda težko razume takšno trenutno počutje. Pogovor gledalcu omogoča, da ga pojasni. Temu pravimo glasovno-vizualni vmesnik.

Koncept smo začeli razvijati oktobra in novembra, februarja pa nas je čakal velik turnir v kriketu. Na voljo smo imeli približno dva meseca in dve zelo različni občinstvi: gledalce razvedrilnih vsebin in ljubitelje kriketa.

Gledalec razvedrilnih vsebin lahko reče: »Petek zvečer je – preseneti me,« ali opiše film, ne da bi poznal njegov naslov. Športne gledalce morda zanimajo bolj določene informacije, kot so izločitve odbijalcev, niz šestic ali tekma, na kateri je igralec dosegel določeno število tekov. Poznavalci kriketa morda želijo statistiko vsake podaje.

To so zelo različni izzivi pri odkrivanju vsebin. V zelo kratkem času smo skušali razvedrilne vsebine, športne trenutke in podrobno statistiko kriketa združiti v enotno uporabniško izkušnjo v več jezikih.

Že zelo zgodaj smo izziv opredelili kot iskanje ravnovesja med točnostjo, zakasnitvijo in stroški. Vsaka inženirska odločitev je morala hkrati uravnotežiti vse tri vidike.

Zaradi glasovne uporabe je bilo to še posebej pomembno. Več kot 60 % naših uporabnikov namesto besedila uporablja glas: ljudje raje povedo, kaj želijo gledati. Odgovor mora biti kljub temu ustrezen, hiter in tudi pri velikem obsegu ekonomsko vzdržen.

Razmišljam o dveh delih: ogrodju za vrednotenje in plasti za preverjanje veljavnosti. Pred uvedbo v produkcijo bi moralo ogrodje za vrednotenje usmerjati spremembe. V produkciji bi morala povratna zanka vedenje uporabnikov in napake pretvarjati v nove primere za vrednotenje.

Takšen cikel se lahko začne sam krepiti, vendar ga je izjemno težko pravilno vzpostaviti.

Strokovnjaki za posamezno področje so nepogrešljivi. Pri vrednotenju športne statistike smo sodelovali z ljudmi, kot so uredniki športnih revij, ki so razumeli, kaj bi utegnilo zanimati zavzete navijače. Ne morete začeti zgolj s pozivom; sistem morate že na začetku podpreti s poglobljenim človeškim strokovnim znanjem.

Ena od stvari, ki smo jih dobro zastavili, je bila sestava ekipe. Začeli smo z majhno ekipo podatkovnih znanstvenikov in inženirjev ter jasno opredeljenim problemom. Inženirji OpenAI, ki delajo neposredno pri strankah, so z nami še natančneje opredelili nekaj ključnih stvari, pri katerih si nismo smeli privoščiti napak.

Prva je bila obseg delovanja. Glasovni ali besedilni vmesnik uporabnikom omogoča, da vprašajo skoraj karkoli, zato smo najprej določili, na kaj sistem ne sme odgovarjati. Varovala so bila na prvem mestu.

Pri vrednotenju smo začeli z začetno zbirko podatkov in jo z modeli razširili z več različicami. Ustvarili smo nekaj, čemur bi danes lahko rekli vzorec ustvarjalca in preverjevalca: en model je pomagal določiti, kako odgovoriti na vprašanje, drugi pa je deloval kot preverjevalec – veliki jezikovni model v vlogi sodnika – z nasprotnim ciljem.

To je odprlo novo vprašanje: kdo preverja sodnika? Že sama zasnova preverjevalca je bila izziv vrednotenja. Codex je ekipi pomagal pospešiti delo, kot sta ustvarjanje primerov za vrednotenje in posodabljanje sistema, vendar hitrejši razvoj ni odpravil potrebe po presoji in preverjanju veljavnosti.

Prej bi vložil sredstva v spremljanje uspešnosti modela v produkciji.

Tradicionalne infrastrukturne metrike, kot je zakasnitev P99, ostajajo pomembne, vendar ne zadostujejo. Spremljati morate tudi uspešnost modela v produkciji.

Prvič, med tem, kar tehnologija zmore, in dejanskim stanjem v podjetju je velika vrzel. Če vaše podjetje ni sledilo vsaki napovedi prelomnih modelov, niste edini.

Drugič, ostanite osredotočeni na rezultate, ne na dejavnost samo. Vidno dogajanje zlahka zamenjamo za dejanski napredek, zlasti kadar podjetja poudarjajo metrike vložkov. Število ustvarjenih vrstic kode vam denimo ne pove, ali ste ustvarili resnično vrednost.

In nazadnje, večina podjetij podcenjuje, koliko človeškega znanja in samostojnega odločanja je potrebnega. Zgolj splošen program usposabljanja ne zadostuje. Vodilni potrebujejo ljudi, ki znajo ta orodja uporabljati preudarno. Dajte odličnemu inženirju orodje, kot je Codex, in njegov učinek se lahko pomnoži; brez sposobnosti presoje pri preverjanju produkcijskih sistemov pa se pomnoži tudi tveganje.

V rokah imate raketo. Zlasti pri produkcijskih sistemih potrebujete preverjanje veljavnosti in varovala, ključe pa morate predati pravim ljudem.