Ketua Arkitek JioStar: Carian AI untuk 500 Juta Pengguna

Siri Fungsi Eksekutif kami menampilkan perspektif pemimpin yang memacu transformasi melalui AI.

JioStar mengendalikan platform hiburan dan sukan secara langsung yang digunakan oleh lebih 500 juta pengguna, serta pernah menampung sehingga 72.5 juta penonton sukan secara langsung pada satu-satu masa. Pada skala itu, AI perlu pantas, boleh diharapkan dan sedia untuk digunakan dalam persekitaran sebenar.

Dengan menggunakan API OpenAI, JioStar membina pembantu carian video dan statistik kriket berasaskan perbualan dalam JioHotstar. Penonton boleh bertutur seperti biasa untuk mencari filem dan rancangan, sorotan terdahulu, detik perlawanan secara langsung atau statistik kriket, dengan hasil dipaparkan melalui pengalaman visual dan perbualan.

Pada Sidang Kemuncak Eksekutif OpenAI di Singapura, Sidharth Sharma, Ketua Pasaran Bersasar OpenAI untuk ASEAN, berbual dengan Vijay Seshadri—Ketua Arkitek JioStar, tentang pembangunan pengalaman ini untuk lebih 15 bahasa dalam kira-kira lapan minggu, serta pengajaran untuk pemimpin yang beralih daripada demo AI kepada penggunaan sebenar.

Cara mencari kandungan tidak banyak berubah sepanjang 25 tahun lalu. Sistem pengesyoran merupakan perubahan besar yang terakhir. Kebanyakan perkembangan selepas itu hanyalah penambahbaikan pada idea yang sama.

Namun, pilihan tontonan amat bergantung pada diri setiap individu. Seseorang mungkin berkata, “Saya rasa sedih. Tunjukkan sesuatu yang boleh menceriakan saya.” Permintaan yang ringkas itu pun mengandungi banyak maksud tersirat. Sedih yang bagaimana? Apakah yang biasanya menceriakan orang itu? Adakah dia mahukan komedi, tontonan yang menenangkan atau sesuatu yang benar-benar mengalihkan fikirannya?

Sistem pengesyoran tradisional mungkin sukar memahami keadaan itu. Perbualan memberi penonton cara untuk menjelaskannya. Kami menamakannya antara muka suara-visual.

Kami mula memperincikan konsep itu pada bulan Oktober dan November, menjelang kejohanan kriket utama pada bulan Februari. Kami mempunyai kira-kira dua bulan dan dua kumpulan penonton yang sangat berbeza: penonton hiburan dan peminat kriket.

Penonton hiburan mungkin berkata, “Sekarang petang Jumaat—berikan saya sesuatu yang tidak dijangka,” atau menerangkan sesebuah filem tanpa mengetahui tajuknya. Penonton sukan mungkin mahukan maklumat yang lebih khusus, seperti kejatuhan wiket, beberapa pukulan enam larian berturut-turut atau perlawanan apabila seseorang pemain mencatat jumlah larian tertentu. Mereka yang arif tentang kriket mungkin mahukan statistik bagi setiap bola.

Semua ini merupakan cabaran carian yang sangat berbeza. Kami berusaha menggabungkan hiburan, detik sukan dan statistik kriket terperinci dalam satu pengalaman yang merangkumi pelbagai bahasa, dalam tempoh yang amat singkat.

Sejak awal lagi, kami melihat cabaran ini sebagai usaha mengimbangi tiga faktor: ketepatan, kependaman dan kos. Setiap keputusan kejuruteraan perlu mengimbangi ketiga-tiganya serentak.

Penggunaan suara menjadikan keseimbangan itu lebih penting. Lebih 60% pengguna kami menggunakan suara berbanding teks: mereka lebih suka menyebut apa yang ingin ditonton. Respons tetap perlu relevan, pantas dan berdaya maju dari segi kos apabila digunakan pada skala besar.

Saya melihatnya sebagai dua bahagian: rangka kerja penilaian dan lapisan pengesahan. Sebelum sistem digunakan dalam persekitaran sebenar, rangka kerja penilaian sepatutnya mendorong perubahan. Dalam penggunaan sebenar, kitaran maklum balas sepatutnya menukarkan tingkah laku pelanggan dan kegagalan kepada kes penilaian baharu.

Kitaran itu boleh terus mengukuhkan dirinya, tetapi amat sukar untuk menjadikannya benar-benar berkesan.

Pakar bidang amat diperlukan. Untuk penilaian statistik sukan, kami bekerjasama dengan orang seperti editor majalah sukan yang memahami soalan yang mungkin ditanya oleh peminat tegar. Anda tidak boleh bermula dengan prom semata-mata; anda perlu menjadikan kepakaran manusia yang mendalam sebagai asas sistem.

Satu perkara yang kami lakukan dengan betul ialah pembentukan pasukan. Kami bermula dengan pasukan kecil yang terdiri daripada saintis data dan jurutera, berpandukan pernyataan masalah yang jelas. Jurutera OpenAI yang ditugaskan terus bersama pelanggan bekerjasama dengan kami untuk mengenal pasti dengan lebih tepat beberapa perkara penting yang mesti kami laksanakan dengan betul.

Yang pertama ialah skop. Antara muka suara atau teks membolehkan pengguna bertanya hampir apa-apa sahaja, jadi kami bermula dengan menentukan perkara yang tidak sepatutnya dijawab oleh sistem. Kawalan keselamatan didahulukan.

Untuk penilaian, kami bermula dengan set data asas dan menggunakan model untuk mengembangkannya dengan lebih banyak variasi. Kami mewujudkan pendekatan yang kini mungkin dipanggil pola pembuat-penyemak: satu model membantu menentukan cara menjawab soalan, manakala satu lagi bertindak sebagai pengesah—LLM sebagai hakim—dengan objektif yang bertentangan.

Ini menimbulkan satu lagi soalan: siapa yang menguji hakim itu? Mereka bentuk pengesah itu sendiri merupakan cabaran penilaian. Codex membantu pasukan mempercepat kerja seperti menjana kes penilaian dan mengemas kini sistem, tetapi pembangunan yang lebih pantas tidak menghapuskan keperluan untuk pertimbangan dan pengesahan.

Saya akan melabur lebih awal dalam pemantauan keberkesanan model semasa penggunaan sebenar.

Ukuran infrastruktur tradisional seperti kependaman P99 tetap penting, tetapi itu sahaja tidak mencukupi. Anda juga perlu memantau keberkesanan model dalam persekitaran sebenar.

Pertama, terdapat jurang besar antara kemampuan teknologi dengan realiti dalam sesebuah perusahaan. Jika syarikat anda belum dapat mengikuti setiap perkembangan model perbatasan yang diumumkan, anda bukan satu-satunya.

Kedua, terus tumpukan pada hasil, bukan aktiviti. Kesibukan yang kelihatan mudah disalah anggap sebagai kemajuan bermakna, khususnya apabila syarikat menekankan metrik input. Contohnya, bilangan baris kod yang dijana tidak menunjukkan sama ada anda telah mencipta nilai yang bermakna.

Akhir sekali, kebanyakan perusahaan memandang rendah tahap kemahiran serta keupayaan manusia untuk membuat keputusan dan bertindak yang diperlukan. Usaha ini tidak boleh sekadar berupa program kemahiran umum. Pemimpin memerlukan orang yang mampu menggunakan alat ini dengan pertimbangan yang baik. Berikan alat seperti Codex kepada jurutera yang cekap dan impaknya boleh berlipat ganda; tanpa pertimbangan yang diperlukan untuk mengesahkan sistem dalam penggunaan sebenar, risikonya juga berlipat ganda.

Anda seolah-olah memegang sebuah roket. Khususnya bagi sistem dalam penggunaan sebenar, anda memerlukan pengesahan dan kawalan keselamatan, serta perlu menyerahkan kendali kepada orang yang tepat.