L-arkitett ewlieni ta’ JioStar: skoperta bl-IA għal 500M utent

Is-serje tagħna Executive Function tippreżenta l-perspettivi ta’ mexxejja li qed imexxu t-trasformazzjoni permezz tal-IA.

JioStar topera pjattaformi tad-divertiment u tal-isport dirett użati minn aktar minn 500 miljun konsumatur, u laħqet sa 72.5 miljun telespettatur tal-isport dirett fl-istess ħin. Fuq dik l-iskala, l-IA trid tkun veloċi, affidabbli u lesta biex titħaddem fil-produzzjoni.

Bl-API ta’ OpenAI, JioStar integrat f’JioHotstar assistent konverżazzjonali għall-iskoperta ta’ vidjows u statistika tal-cricket. It-telespettaturi jistgħu jitkellmu b’mod naturali biex isibu films u programmi, siltiet memorabbli mill-passat, mumenti minn logħbiet diretti jew statistika tal-cricket, bir-riżultati ppreżentati permezz ta’ esperjenza viżiva u konverżazzjonali.

Fis-Summit Eżekuttiv ta’ OpenAI f’Singapore, Sidharth Sharma, il-Kap tal-go-to-market ta’ OpenAI għall-ASEAN, tkellem ma’ Vijay Seshadri, l-Arkitett Ewlieni ta’ JioStar, dwar kif żviluppaw l-esperjenza għal aktar minn 15-il lingwa f’madwar tmien ġimgħat, u l-lezzjonijiet għal mexxejja li qed iwasslu l-IA mid-dimostrazzjoni għall-produzzjoni.

Il-mod kif jiġi skopert il-kontenut ftit li xejn evolva f’dawn l-aħħar 25 sena. Ir-rakkomandazzjonijiet kienu l-aħħar bidla kbira. Ħafna minn dak li ġie wara kien verżjoni oħra tal-istess idea.

Iżda l-għażla ta’ x’se tara hija personali ħafna. Xi ħadd jista’ jgħid: “Qed inħossni mdejjaq. Urini xi ħaġa li tferraħni.” Anki talba sempliċi bħal din fiha ħafna sfumaturi. X’tip ta’ dwejjaq qed iħoss? X’normalment iferraħ lil dik il-persuna? Trid kummiedja, xi ħaġa li tagħtiha sens ta’ faraġ jew xi ħaġa li taljenaha għal kollox?

Sistema tradizzjonali ta’ rakkomandazzjonijiet tista’ ssibha diffiċli tifhem dak il-mument. Il-konverżazzjoni tagħti lit-telespettatur mezz biex jispjegah. Din insejħulha interfaċċa li tgħaqqad il-vuċi mal-elementi viżivi.

Bdejna naħdmu fuq il-kunċett f’Ottubru u Novembru, b’turnew ewlieni tal-cricket skedat għal Frar. Kellna madwar xahrejn u żewġ udjenzi differenti ħafna: telespettaturi tad-divertiment u dilettanti tal-cricket.

Telespettatur tad-divertiment jista’ jgħid: “Wasal il-Ġimgħa filgħaxija — issorprendini,” jew jiddeskrivi film mingħajr ma jkun jaf it-titlu tiegħu. It-telespettaturi tal-isport jistgħu jkunu jridu aġġornament aktar speċifiku, bħal wickets li waqgħu, sensiela ta’ sixes, jew il-logħba li fiha plejer skorja ċertu għadd ta’ runs. L-esperti tal-cricket jistgħu jkunu jridu statistika dwar kull ballun.

Dawn huma sfidi differenti ħafna fl-iskoperta tal-kontenut. Ħdimna biex ngħaqqdu d-divertiment, il-mumenti sportivi u l-istatistika dettaljata tal-cricket f’esperjenza waħda, f’diversi lingwi, fi żmien qasir ħafna.

Sa mill-bidu nett, rajna l-problema bħala bilanċ bejn tliet aspetti: il-preċiżjoni, il-latenza u l-ispiża. Kull deċiżjoni tal-inġinerija kellha tibbilanċja t-tlieta fl-istess ħin.

L-użu tal-vuċi għamel dan partikolarment importanti. Aktar minn 60% tal-utenti tagħna jużaw il-vuċi minflok it-test: in-nies jippreferu jgħidu x’iridu jaraw. It-tweġiba xorta trid tkun rilevanti, veloċi u ekonomikament vijabbli fuq skala kbira.

Jien naħseb fiha f’żewġ partijiet: qafas ta’ evalwazzjoni u saff ta’ validazzjoni. Qabel il-produzzjoni, il-qafas ta’ evalwazzjoni għandu jwassal għal tibdil. Fil-produzzjoni, ċiklu ta’ feedback għandu jibdel l-imġiba tal-klijenti u l-fallimenti f’każijiet ġodda ta’ evalwazzjoni.

Dak iċ-ċiklu jista’ jibda jsaħħaħ lilu nnifsu, iżda huwa diffiċli ħafna li tagħmlu jaħdem sew.

L-esperti fil-qasam huma essenzjali. Għall-evalwazzjonijiet tal-istatistika sportiva, ħdimna ma’ nies bħal edituri ta’ rivisti sportivi li kienu jifhmu x’jistgħu jistaqsu d-dilettanti akkaniti. Ma tistax tibda bi prompt biss; trid tibni s-sistema fuq bażi ta’ għarfien espert profond min-nies.

Ħaġa li għamilna tajjeb kienet l-għażla tat-tim. Bdejna b’tim żgħir ta’ xjentisti tad-data u inġiniera, bi problema definita b’mod ċar. L-inġiniera ta’ OpenAI assenjati biex jaħdmu direttament magħna għenuna nidentifikaw b’aktar preċiżjoni l-ftit affarijiet li bilfors kellna nagħmlu sew.

L-ewwel waħda kienet il-firxa tal-funzjonijiet tas-sistema. Interfaċċa bil-vuċi jew bit-test tħalli lill-utenti jistaqsu kważi kollox, għalhekk bdejna billi ddeċidejna għal xiex is-sistema ma kellhiex twieġeb. Is-salvagwardji ġew l-ewwel.

Għall-evalwazzjonijiet, bdejna b’sett inizjali ta’ data u użajna mudelli biex inkabbruh b’aktar varjazzjonijiet. Ħloqna dak li llum tista’ ssejjaħlu mudell ta’ ħidma bejn ħallieq u verifikatur: mudell wieħed għen biex jiġi ddeterminat kif titwieġeb mistoqsija, filwaqt li ieħor aġixxa bħala validatur — LLM bħala mħallef — b’objettiv oppost.

Dan qajjem mistoqsija oħra: min jittestja lill-imħallef? Id-disinn tal-validatur kien fih innifsu sfida ta’ evalwazzjoni. Codex għen lit-tim iħaffef xogħol bħall-ġenerazzjoni ta’ każijiet ta’ evalwazzjoni u l-aġġornament tas-sistema, iżda żvilupp aktar mgħaġġel ma neħħiex il-ħtieġa għal ġudizzju u validazzjoni.

Kont ninvesti aktar kmieni fil-monitoraġġ tal-effikaċja tal-mudell fil-produzzjoni.

Il-kejl tradizzjonali tal-infrastruttura, bħal-latenza P99, jibqa’ importanti, iżda mhuwiex biżżejjed. Trid ukoll timmonitorja l-effikaċja tal-mudell fil-produzzjoni.

L-ewwel nett, hemm distakk kbir bejn dak li tista’ tagħmel it-teknoloġija u r-realtà ġewwa intrapriża. Jekk il-kumpanija tiegħek ma laħqitx ma’ kull avviż dwar mudell mill-aktar avvanzati, mhijiex waħedha.

It-tieni, ibqa’ ffukat fuq ir-riżultati aktar milli fuq l-attività. Huwa faċli li tħawwad attività li tidher ma’ progress sinifikanti, speċjalment meta l-kumpaniji jagħtu importanza lill-kejl tal-isforzi minflok tar-riżultati. L-għadd ta’ linji ta’ kodiċi ġġenerati, pereżempju, ma jgħidlekx jekk ħloqtx valur sinifikanti.

Fl-aħħar nett, il-biċċa l-kbira tal-intrapriżi jissottovalutaw il-ħiliet umani u l-kapaċità li wieħed jaġixxi b’mod awtonomu li huma meħtieġa. Dan ma jistax ikun biss programm ġeneriku ta’ żvilupp tal-ħiliet. Il-mexxejja għandhom bżonn nies li jafu jużaw dawn l-għodod b’ġudizzju. Agħti għodda bħal Codex lil inġinier kapaċi u l-impatt jista’ jimmultiplika; mingħajr il-ġudizzju meħtieġ biex jiġu vvalidati s-sistemi fil-produzzjoni, jimmultiplika wkoll ir-riskju.

Għandek rokit f’idejk. Speċjalment fis-sistemi fil-produzzjoni, għandek bżonn validazzjoni u salvagwardji, u trid tafda l-kontroll f’idejn in-nies it-tajba.