Arsitek utama JioStar: telusur AI kanggo 500 yuta pangguna

Seri Executive Function kita nampilake pandangane para pimpinan sing nyurung transformasi liwat AI.

JioStar ngoperasikake platform hiburan lan siaran olahraga langsung sing digunakake luwih saka 500 yuta konsumen, lan wis tau nglayani nganti 72,5 yuta pamirsa siaran olahraga langsung ing wektu sing padha. Ing skala semono, AI kudu cepet, bisa diandelake, lan siyap digunakake ing lingkungan produksi.

Nganggo API OpenAI, JioStar mbangun asisten pacelathon kanggo nggoleki video lan statistik kriket ing JioHotstar. Pamirsa bisa ngomong kanthi lumrah kanggo nggoleki film lan acara, cuplikan penting saka jaman biyen, momen saka tandhing langsung, utawa statistik kriket, kanthi asil sing ditampilake kanthi visual lan lumantar pacelathon.

Ing Executive Summit OpenAI ing Singapura, Sidharth Sharma, Kepala go-to-market OpenAI kanggo ASEAN, ngobrol karo Vijay Seshadri—Arsitek Utama JioStar, babagan mbangun fitur iki kanggo luwih saka 15 basa sajrone watara wolung minggu, lan piwulang kanggo para pimpinan sing arep ngetrapake AI saka demo menyang produksi.

Carane wong nggoleki konten mung owah sithik banget sajrone 25 taun pungkasan. Rekomendasi dadi owah-owahan gedhe sing pungkasan. Akeh pangembangan sawise kuwi mung nyampurnakake gagasan sing padha.

Nanging milih tontonan kuwi gumantung banget marang kahanane saben wong. Ana wong sing bisa wae kandha, “Aku lagi sedhih. Tuduhna tontonan sing bisa nggawe aku seneng maneh.” Panjaluk sing katon prasaja kuwi wae ngemot akeh teges sing perlu dipahami. Sedhih sing kaya apa? Apa sing biasane nggawe wong kuwi seneng maneh? Apa dheweke kepengin komedi, tontonan sing gawe ayem, utawa tontonan sing bisa ngalihake pikirane babar pisan?

Sistem rekomendasi tradhisional bisa kangelan mangerteni kahanan kuwi. Liwat pacelathon, pamirsa bisa njlentrehake kahanane. Iki kita sebut antarmuka swara-visual.

Kita wiwit nggarap konsep iki ing Oktober lan November, dene turnamen kriket gedhe bakal dianakake ing Februari. Kita duwe wektu watara rong sasi lan rong golongan pamirsa sing beda banget: pamirsa hiburan lan penggemar kriket.

Pamirsa hiburan bisa wae kandha, “Iki wis Jumat sore—wenehana kejutan,” utawa nggambarake film tanpa ngerti irah-irahane. Pamirsa olahraga bisa uga kepengin kabar sing luwih mligi, kayata gugure wicket, rerangkening pukulan enem poin, utawa tandhing nalika sawijining pemain entuk run kanthi cacah tartamtu. Wong sing ngerti banget babagan kriket bisa uga kepengin statistik saben bal.

Kabeh iki kabutuhan nggoleki konten sing beda banget. Kita ngupaya nggabungake hiburan, momen olahraga, lan statistik kriket sing rinci ing siji pengalaman panggunaan, kanthi maneka basa, sajrone wektu sing cekak banget.

Wiwit awal, kita ndeleng prakara iki minangka upaya ngimbangi telung aspek: akurasi, latensi, lan biaya. Saben keputusan teknis kudu ngimbangi telu-telune bebarengan.

Panganggone swara ndadekake iki saya wigati. Luwih saka 60% pangguna kita nggunakake swara tinimbang teks: wong luwih seneng ngucapake apa sing kepengin ditonton. Tanggepane kudu tetep cocog, cepet, lan biayane tetep bisa ditanggung sanajan digunakake ing skala gedhe.

Aku ndeleng iki dumadi saka rong perangan: kerangka evaluasi lan lapisan validasi. Sadurunge mlebu produksi, kerangka evaluasi kudu dadi dhasar kanggo nindakake owah-owahan. Ing lingkungan produksi, siklus umpan balik kudu ngowahi prilaku pelanggan lan kegagalan dadi kasus evaluasi anyar.

Siklus kuwi bisa saya nguwatake awake dhewe, nanging angel banget anggone nggawe supaya bisa mlaku kanthi bener.

Pakar ing bidang sing cocog pancen dibutuhake. Kanggo evaluasi statistik olahraga, kita kerja bareng wong kayata editor majalah olahraga sing ngerti apa wae sing bisa ditakokake penggemar tenanan. Sampeyan ora bisa miwiti mung nganggo prompt; sistem kudu diwenehi dhasar keahlian manungsa sing jero.

Salah siji keputusan kita sing trep yaiku anggone nyusun tim. Kita miwiti kanthi tim cilik sing dumadi saka ilmuwan data lan insinyur, kanthi rumusan masalah sing cetha. Insinyur OpenAI sing ditugasake langsung ing lapangan kerja bareng kita kanggo luwih nemtokake sawetara bab sing pancen kudu ditindakake kanthi bener.

Sing kapisan yaiku cakupan. Antarmuka swara utawa teks ngidini pangguna takon meh apa wae, mula kita miwiti kanthi nemtokake apa sing ora kena dijawab dening sistem. Wates pengaman dadi prioritas kapisan.

Kanggo evaluasi, kita miwiti kanthi set data awal lan nggunakake model kanggo ngembangake data mau kanthi variasi luwih akeh. Kita nggawe pola sing saiki bisa diarani pola panggawe-pamriksa: siji model mbantu nemtokake carane mangsuli pitakon, dene model liyane dadi validator—LLM minangka juri—kanthi tujuan sing beda lan saling nguji.

Iki nuwuhake pitakon liyane: sapa sing nguji jurine? Ngrancang validator kuwi dhewe uga dadi tantangan evaluasi. Codex mbantu tim nyepetake pakaryan kayata nggawe kasus evaluasi lan nganyari sistem, nanging proses pangembangan sing luwih cepet ora ngilangi kabutuhan pertimbangan lan validasi.

Aku bakal luwih awal nandur modal kanggo ngawasi efektifitas model ing lingkungan produksi.

Ukuran infrastruktur tradhisional kayata latensi P99 tetep wigati, nanging durung cukup. Sampeyan uga kudu ngawasi efektifitas model ing lingkungan produksi.

Kapisan, ana jurang gedhe antarane apa sing bisa ditindakake teknologi lan kahanan nyata ing perusahaan. Yen perusahaan sampeyan durung bisa ngimbangi saben model tercanggih sing diumumake, dudu mung sampeyan sing ngalami.

Kapindho, tetep fokus marang asil tinimbang mung kegiyatan. Wong gampang nganggep kesibukan sing katon minangka kemajuan sing nyata, luwih-luwih nalika perusahaan ngutamakake metrik input. Contone, cacahing larik kode sing digawe ora nuduhake apa sampeyan wis ngasilake paedah sing nyata.

Pungkasan, umume perusahaan nyepelekake katrampilan lan kabisan manungsa kanggo tumindak lan njupuk keputusan sing dibutuhake. Iki ora bisa mung awujud program pelatihan katrampilan umum. Para pimpinan butuh wong sing bisa nggunakake piranti iki kanthi pertimbangan sing mateng. Wenehana insinyur sing mumpuni piranti kaya Codex, lan pengaruhe bisa tikel pirang-pirang; tanpa pertimbangan sing mateng kanggo ngesahake sistem produksi, risikone uga melu tikel.

Sampeyan kaya lagi nyekel roket. Utamane ing sistem produksi, sampeyan butuh validasi lan wates pengaman, lan kudu masrahake kendhaline marang wong sing trep.