JioStar: kryearkitekti mbi kërkimin me IA për 500 mln përdorues

Seria jonë Executive Function sjell këndvështrime nga drejtues që nxisin transformimin përmes IA-së.

JioStar menaxhon platforma argëtimi dhe transmetimi të drejtpërdrejtë sportiv që përdoren nga mbi 500 milionë konsumatorë dhe ka mundësuar ndjekjen e sporteve drejtpërdrejt nga deri në 72,5 milionë shikues njëkohësisht. Në këto përmasa, IA-ja duhet të jetë e shpejtë, e besueshme dhe e gatshme për përdorim real.

Duke përdorur API-në e OpenAI, JioStar ndërtoi dhe integroi në JioHotstar një asistent bashkëbisedues për gjetjen e videove dhe statistikave të kriketit. Shikuesit mund të flasin natyrshëm për të gjetur filma dhe emisione, momente historike, çaste nga ndeshjet që luhen drejtpërdrejt ose statistika kriketi, dhe t'i marrin rezultatet përmes një përvoje pamore e bashkëbiseduese.

Në samitin e drejtuesve të OpenAI në Singapor, Sidharth Sharma, drejtues i OpenAI për daljen në treg në ASEAN, bisedoi me Vijay Seshadri, Kryearkitekt në JioStar, për zhvillimin e kësaj përvoje në mbi 15 gjuhë brenda rreth tetë javësh dhe për mësimet që mund të nxjerrin drejtuesit që e kalojnë IA-në nga demonstrimi në përdorim real.

Mënyra e gjetjes së përmbajtjes ka ndryshuar shumë pak gjatë 25 viteve të fundit. Rekomandimet ishin ndryshimi i fundit i madh. Pjesa më e madhe e asaj që erdhi më pas ka qenë një variant i së njëjtës ide.

Por zgjedhja e asaj që do të shohësh është thellësisht personale. Dikush mund të thotë: “Ndihem i trishtuar. Më trego diçka që do të ma ngrejë humorin.” Edhe kjo kërkesë e thjeshtë përmban shumë nuanca. Çfarë lloj trishtimi po përjeton? Çfarë ia ngre zakonisht humorin këtij personi? Dëshiron një komedi, diçka qetësuese apo diçka që t'ia heqë mendjen krejtësisht?

Një sistem tradicional rekomandimesh mund ta ketë të vështirë ta kuptojë këtë gjendje. Biseda i jep shikuesit një mënyrë për ta shpjeguar. Ne e quajmë këtë një ndërfaqe zanore-pamore.

Nisëm ta përpunonim konceptin në tetor dhe nëntor, ndërsa në shkurt pritej një turne i rëndësishëm kriketi. Kishim afërsisht dy muaj dhe dy audienca shumë të ndryshme: shikuesit e përmbajtjeve argëtuese dhe tifozët e kriketit.

Një shikues që kërkon argëtim mund të thotë: “Është mbrëmje e premte — më befaso”, ose të përshkruajë një film pa ia ditur titullin. Shikuesit e sportit mund të duan informacion më specifik, si eliminimet, një seri goditjesh me gjashtë pikë ose ndeshjen në të cilën një lojtar shënoi një numër të caktuar pikësh. Njohësit e kriketit mund të duan statistika për çdo hedhje topi.

Këto janë sfida shumë të ndryshme të gjetjes së përmbajtjes. Punuam për të bashkuar argëtimin, momentet sportive dhe statistikat e hollësishme të kriketit në një përvojë të vetme, në shumë gjuhë, brenda një kohe shumë të shkurtër.

Që në fillim, e trajtuam problemin si gjetjen e një ekuilibri mes saktësisë, kohës së përgjigjes dhe kostos. Çdo vendim inxhinierik duhej t'i balanconte të tria njëkohësisht.

Përdorimi i zërit e bënte këtë veçanërisht të rëndësishme. Mbi 60% e përdoruesve tanë përdorin zërin në vend të tekstit: njerëzit parapëlqejnë ta thonë me gojë atë që duan të shohin. Përgjigjja gjithsesi duhet të jetë e përshtatshme, e shpejtë dhe ekonomikisht e përballueshme në shkallë të gjerë.

Unë e shoh në dy pjesë: një kuadër vlerësimi dhe një shtresë verifikimi. Para vënies në përdorim real, kuadri i vlerësimit duhet të nxisë ndryshime. Gjatë përdorimit real, një cikël reagimi duhet ta shndërrojë sjelljen e klientëve dhe dështimet në raste të reja vlerësimi.

Ky cikël mund të përforcohet vetvetiu, por është jashtëzakonisht e vështirë ta bësh të funksionojë siç duhet.

Ekspertët e fushës janë thelbësorë. Për vlerësimet e statistikave sportive, punuam me njerëz si redaktorët e revistave sportive, të cilët e kuptonin se çfarë mund të pyesnin tifozët e përkushtuar. Nuk mund ta nisni vetëm me një kërkesë; duhet ta ushqeni sistemin që në fillim me njohuri të thella nga ekspertët.

Një zgjedhje të mirë e bëmë me ekipin. E nisëm me një ekip të vogël shkencëtarësh të të dhënave dhe inxhinierësh, me një problem të përcaktuar qartë. Inxhinierët e OpenAI të angazhuar drejtpërdrejt pranë nesh punuan krah nesh për të përcaktuar më qartë ato pak gjëra që patjetër duhej t'i bënim siç duhet.

E para ishte përcaktimi i fushës së veprimit. Një ndërfaqe me zë ose tekst u lejon përdoruesve të pyesin pothuajse për çdo gjë, ndaj e nisëm duke vendosur se cilave pyetje nuk duhej t'u përgjigjej sistemi. Masat mbrojtëse erdhën të parat.

Për vlerësimet, nisëm me një grup fillestar të dhënash dhe përdorëm modele për ta zgjeruar me më shumë larmi. Krijuam atë që sot mund ta quani një skemë krijues-kontrollues: një model ndihmonte në përcaktimin e përgjigjes ndaj një pyetjeje, ndërsa një tjetër shërbente si verifikues — një LLM në rolin e gjykuesit — me një objektiv kundërvënës.

Kjo ngriti një pyetje tjetër: kush e teston gjykuesin? Vetë projektimi i verifikuesit ishte një sfidë vlerësimi. Codex e ndihmoi ekipin të përshpejtonte punë si gjenerimi i rasteve të vlerësimit dhe përditësimi i sistemit, por zhvillimi më i shpejtë nuk e hoqi nevojën për gjykim dhe verifikim.

Do të investoja më herët në monitorimin e efektshmërisë së modelit gjatë përdorimit real.

Treguesit tradicionalë të infrastrukturës, si koha e përgjigjes P99, mbeten të rëndësishëm, por nuk mjaftojnë. Duhet të monitoroni edhe efektshmërinë e modelit gjatë përdorimit real.

Së pari, ka një hendek të madh mes asaj që mund të bëjë teknologjia dhe realitetit brenda një ndërmarrjeje. Nëse kompania juaj nuk ka arritur të ecë në hap me çdo njoftim për modele avangardë, nuk jeni të vetmit.

Së dyti, vazhdoni të përqendroheni te rezultatet dhe jo te veprimtaria. Është e lehtë ta ngatërroni punën që bie në sy me përparimin e vërtetë, sidomos kur kompanitë vënë theksin te matja e punës së kryer. Për shembull, rreshtat e kodit të gjeneruar nuk tregojnë nëse keni krijuar vlerë reale.

Së fundi, shumica e ndërmarrjeve i nënvlerësojnë aftësitë dhe zotësinë për të vepruar në mënyrë të pavarur që u duhen njerëzve. Kjo nuk mund të kufizohet në një program të përgjithshëm zhvillimi aftësish. Drejtuesve u duhen njerëz që mund t'i përdorin këto mjete me gjykim të shëndoshë. Jepini një inxhinieri të zotë një mjet si Codex dhe ndikimi mund të shumëfishohet; pa gjykimin e duhur për të verifikuar sistemet në përdorim real, shumëfishohet edhe rreziku.

Keni një raketë në duar. Sidomos për sistemet në përdorim real, ju duhen verifikime dhe masa mbrojtëse, dhe duhet t'ua besoni drejtimin njerëzve të duhur.