JioStar: Paghahanap gamit ang AI para sa 500M user

Tampok sa aming seryeng Executive Function ang mga pananaw ng mga lider na nagsusulong ng pagbabago sa pamamagitan ng AI.

Pinapatakbo ng JioStar ang mga platform para sa libangan at live sports na ginagamit ng mahigit 500 milyong consumer, at nakapagsilbi na ito sa hanggang 72.5 milyong sabay-sabay na manonood ng live sports. Sa ganitong laki ng operasyon, kailangang mabilis, maaasahan, at handa sa aktuwal na paggamit ang AI.

Gamit ang OpenAI API, bumuo ang JioStar ng assistant sa loob ng JioHotstar na makakausap para maghanap ng mga video at estadistika ng cricket. Maaaring magsalita nang natural ang mga manonood para maghanap ng mga pelikula at palabas, highlight ng mga nakaraang laro, mga sandali sa live na laban, o estadistika ng cricket. Ipinapakita ang mga resulta sa isang biswal at interaktibong karanasan.

Sa Executive Summit ng OpenAI sa Singapore, nakipag-usap si Sidharth Sharma, Pinuno ng Go-to-Market ng OpenAI para sa ASEAN, kay Vijay Seshadri—Punong Arkitekto ng JioStar—tungkol sa pagbuo ng karanasang ito para sa mahigit 15 wika sa loob ng mga walong linggo, at sa mga aral para sa mga lider na naghahatid ng AI mula sa demo tungo sa aktuwal na operasyon.

Napakakaunti ng nagbago sa pagtuklas ng content sa nakalipas na 25 taon. Ang mga rekomendasyon ang huling malaking pagbabago. Karamihan sa mga sumunod ay mga bagong bersyon lang ng parehong ideya.

Pero napakapersonal ng pagpili ng papanoorin. Maaaring sabihin ng isang tao, “Nalulungkot ako. Pakitaan mo ako ng makakapagpasaya sa akin.” Kahit sa simpleng hiling na iyon, marami nang kailangang unawain. Anong uri ng lungkot ang nararamdaman niya? Ano ang karaniwang nagpapasaya sa kanya? Gusto ba niya ng komedya, ng palabas na nakakapagpagaan ng loob, o ng lubusang makakapaglibang sa kanya?

Maaaring mahirapan ang isang tradisyonal na sistema ng rekomendasyon na unawain ang sitwasyong iyon. Sa pamamagitan ng pakikipag-usap, naipapaliwanag ito ng manonood. Tinatawag namin itong interface na pinagsasama ang boses at biswal.

Sinimulan naming pag-aralan ang konsepto noong Oktubre at Nobyembre, habang papalapit ang isang malaking torneo ng cricket sa Pebrero. May humigit-kumulang dalawang buwan kami at dalawang magkaibang grupo ng manonood: mga nanonood para sa libangan at mga tagahanga ng cricket.

Maaaring sabihin ng isang nanonood para sa libangan, “Biyernes na ng gabi—ikaw na ang bahalang pumili,” o ilarawan ang isang pelikula nang hindi alam ang pamagat nito. Maaaring mas partikular na update ang gusto ng mga nanonood ng sports, gaya ng pagbagsak ng mga wicket, sunod-sunod na six, o ang laban kung saan nakakuha ang isang manlalaro ng partikular na bilang ng run. Maaaring gusto naman ng mga eksperto sa cricket ang estadistika ng bawat bola.

Lubhang magkakaiba ang mga hamong ito sa paghahanap. Sinikap naming pagsamahin ang libangan, mga sandali sa sports, at detalyadong estadistika ng cricket sa iisang karanasan, sa maraming wika, sa loob ng napakaikling panahon.

Sa simula pa lang, itinuring na namin ang hamon bilang pagbabalanse sa tatlong bagay: katumpakan, tagal ng pagtugon, at gastos. Kailangang sabay na balansehin ang tatlong ito sa bawat desisyong pang-engineering.

Lalo itong naging mahalaga dahil sa paggamit ng boses. Mahigit 60% ng aming mga user ang gumagamit ng boses sa halip na text: mas gusto ng mga tao na sabihin kung ano ang gusto nilang panoorin. Kailangan pa ring angkop at mabilis ang tugon, at kayang tustusan ang gastos kahit sa malawakang paggamit.

Para sa akin, may dalawang bahagi ito: isang balangkas ng pagsusuri at isang patong ng pagpapatunay. Bago ang aktuwal na operasyon, dapat maging batayan ng mga pagbabago ang balangkas ng pagsusuri. Sa aktuwal na operasyon, dapat may siklo ng feedback na ginagamit ang mga kilos ng customer at mga pagkabigo ng sistema upang makabuo ng mga bagong kaso para sa pagsusuri.

Maaaring patuloy na mapahusay ng siklong iyon ang sarili nito, pero napakahirap nitong maisagawa nang tama.

Napakahalaga ng mga eksperto sa larangang iyon. Para sa mga pagsusuri sa estadistika ng sports, nakipagtulungan kami sa mga taong tulad ng mga editor ng sports magazine na nakakaunawa kung ano ang maaaring itanong ng mga masugid na tagahanga. Hindi sapat ang isang prompt lang bilang panimula; kailangan mong pundasyonan ang sistema ng malalim na kaalaman ng mga eksperto.

Isa sa mga naging tama naming desisyon ay ang pagbuo ng team. Nagsimula kami sa isang maliit na team ng mga data scientist at engineer na may malinaw na problemang lulutasin. Kasama naming nagtrabaho ang mga engineer na direktang itinalaga ng OpenAI sa proyekto upang mas matukoy ang ilang bagay na talagang kailangan naming magawa nang tama.

Una ay ang saklaw. Sa isang interface na gumagamit ng boses o text, halos kahit ano ay maaaring itanong ng mga user, kaya nagsimula kami sa pagdedesisyon kung ano ang hindi dapat sagutin ng sistema. Inuna namin ang mga pananggalang.

Para sa mga pagsusuri, nagsimula kami sa isang paunang dataset at gumamit ng mga modelo upang palawakin ito ng mas maraming baryasyon. Bumuo kami ng paraang maaari ngayong tawaging maker-checker: tumutulong ang isang modelo na tukuyin kung paano sasagutin ang isang tanong, habang ang isa naman ay nagsisilbing tagapagpatunay—isang LLM bilang tagahatol—na may salungat na layunin.

Nagbunga iyon ng isa pang tanong: sino ang susubok sa tagahatol? Ang mismong pagdisenyo sa tagapagpatunay ay isa ring hamon sa pagsusuri. Nakatulong ang Codex na mapabilis ang gawain ng team, gaya ng pagbuo ng mga kaso para sa pagsusuri at pag-update sa sistema, pero kahit mas mabilis ang pagbuo, kailangan pa rin ng mahusay na pagpapasya at pagpapatunay.

Mas maaga akong mamumuhunan sa pagsubaybay sa pagiging epektibo ng modelo sa aktuwal na operasyon.

Mahalaga pa rin ang mga tradisyonal na sukatan ng imprastraktura gaya ng P99 latency, pero hindi sapat ang mga ito. Kailangan mo ring subaybayan ang pagiging epektibo ng modelo sa aktuwal na operasyon.

Una, malaki ang agwat sa pagitan ng kayang gawin ng teknolohiya at ng realidad sa loob ng isang negosyo. Kung hindi pa nakakasabay ang inyong kumpanya sa bawat anunsyo ng mga modelong frontier, hindi kayo nag-iisa.

Ikalawa, manatiling nakatuon sa mga resulta sa halip na sa mga aktibidad. Madaling mapagkamalang makabuluhang pag-unlad ang nakikitang pagkilos, lalo na kapag binibigyang-diin ng mga kumpanya ang mga sukatan ng inilaan na trabaho at yaman. Halimbawa, hindi masasabi ng bilang ng mga nabuong linya ng code kung may makabuluhang pakinabang kang naihatid.

Panghuli, minamaliit ng karamihan sa mga negosyo ang kinakailangang kasanayan at kakayahang magpasya at kumilos ng mga tao. Hindi ito puwedeng maging isang pangkalahatang programa lang ng pagsasanay. Kailangan ng mga lider ang mga taong may mahusay na pagpapasya sa paggamit ng mga tool na ito. Bigyan ang isang mahusay na engineer ng tool na tulad ng Codex at maaaring dumami ang pakinabang; pero kung walang mahusay na pagpapasya upang mapatunayan ang mga sistema sa aktuwal na operasyon, dumarami rin ang panganib.

Para kang may hawak na rocket. Lalo na sa mga sistemang ginagamit sa aktuwal na operasyon, kailangan mo ng pagpapatunay at mga pananggalang, at kailangang ipagkatiwala ang kontrol sa mga tamang tao.