Arsitek JioStar: pencarian konten AI untuk 500 juta pengguna

Seri Executive Function kami menghadirkan perspektif para pemimpin yang mendorong transformasi melalui AI.

JioStar mengoperasikan platform hiburan dan siaran langsung olahraga yang digunakan oleh lebih dari 500 juta konsumen, serta pernah melayani hingga 72,5 juta penonton siaran langsung olahraga secara bersamaan. Pada skala tersebut, AI harus cepat, andal, dan siap digunakan di lingkungan produksi.

Dengan API OpenAI, JioStar membangun asisten percakapan di JioHotstar untuk membantu pengguna menemukan video dan statistik kriket. Penonton dapat berbicara secara alami untuk menemukan film dan acara, cuplikan pertandingan terdahulu, momen pertandingan yang sedang berlangsung, atau statistik kriket. Hasilnya disajikan secara visual melalui percakapan.

Dalam Executive Summit OpenAI di Singapura, Sidharth Sharma, Kepala Go-to-Market OpenAI untuk ASEAN, berbincang dengan Vijay Seshadri, Kepala Arsitek JioStar, tentang pengembangan pengalaman ini untuk lebih dari 15 bahasa dalam sekitar delapan minggu, serta pelajaran bagi para pemimpin yang membawa AI dari demo ke lingkungan produksi.

Cara orang menemukan konten hampir tidak berubah dalam 25 tahun terakhir. Rekomendasi adalah perubahan besar terakhir. Sebagian besar perkembangan setelah itu hanyalah penyempurnaan dari gagasan yang sama.

Namun, memilih tontonan adalah hal yang sangat personal. Seseorang mungkin berkata, “Saya sedang sedih. Carikan tontonan yang bisa menghibur saya.” Permintaan sesederhana itu pun mengandung banyak nuansa. Sedih seperti apa? Apa yang biasanya menghibur orang tersebut? Apakah ia ingin komedi, tontonan yang menenangkan, atau sesuatu yang benar-benar mengalihkan pikirannya?

Sistem rekomendasi tradisional mungkin kesulitan memahami situasi itu. Percakapan memberi penonton cara untuk menjelaskannya. Kami menyebutnya antarmuka suara-visual.

Kami mulai mematangkan konsepnya pada Oktober dan November, sementara turnamen kriket besar akan berlangsung pada Februari. Kami memiliki waktu sekitar dua bulan dan dua kelompok pengguna yang sangat berbeda: penonton hiburan dan penggemar kriket.

Penonton hiburan mungkin berkata, “Ini Jumat malam—beri saya kejutan,” atau mendeskripsikan film tanpa mengetahui judulnya. Penonton olahraga mungkin menginginkan informasi yang lebih spesifik, seperti momen jatuhnya wicket, rangkaian pukulan enam angka, atau pertandingan saat seorang pemain mencetak jumlah run tertentu. Pakar kriket mungkin menginginkan statistik setiap lemparan bola.

Semua itu merupakan tantangan pencarian yang sangat berbeda. Kami berupaya memadukan hiburan, momen olahraga, dan statistik kriket yang terperinci dalam satu pengalaman, untuk berbagai bahasa, dalam waktu yang sangat singkat.

Sejak awal, kami memandang masalah ini sebagai upaya mencari keseimbangan antara akurasi, latensi, dan biaya. Setiap keputusan teknis harus menyeimbangkan ketiganya sekaligus.

Penggunaan suara membuat keseimbangan itu makin penting. Lebih dari 60% pengguna kami menggunakan suara, bukan teks: orang lebih suka mengucapkan apa yang ingin mereka tonton. Respons tetap harus relevan, cepat, dan layak secara biaya pada skala besar.

Saya membaginya menjadi dua bagian: kerangka evaluasi dan lapisan validasi. Sebelum penerapan di lingkungan produksi, kerangka evaluasi harus mendorong perubahan. Di lingkungan produksi, siklus umpan balik harus mengubah perilaku pelanggan dan kegagalan menjadi kasus evaluasi baru.

Siklus itu dapat terus memperkuat dirinya sendiri, tetapi membuatnya berjalan dengan baik sangatlah sulit.

Pakar di bidang terkait sangat dibutuhkan. Untuk evaluasi statistik olahraga, kami bekerja sama dengan orang-orang seperti editor majalah olahraga yang memahami apa saja yang mungkin ditanyakan penggemar fanatik. Anda tidak bisa memulai hanya dengan prompt; sistem perlu dibekali keahlian manusia yang mendalam sejak awal.

Salah satu langkah kami yang tepat adalah membentuk tim yang tepat. Kami memulai dengan tim kecil yang terdiri dari ilmuwan data dan engineer, berbekal rumusan masalah yang jelas. Engineer OpenAI yang ditugaskan langsung untuk mendampingi kami turut membantu mengidentifikasi lebih jauh beberapa hal yang mutlak harus kami lakukan dengan benar.

Yang pertama adalah cakupan. Antarmuka suara atau teks memungkinkan pengguna menanyakan hampir apa saja, jadi kami mulai dengan menentukan hal-hal yang tidak boleh dijawab sistem. Mekanisme pengaman menjadi prioritas pertama.

Untuk evaluasi, kami memulai dengan kumpulan data awal dan menggunakan model untuk memperluasnya dengan lebih banyak variasi. Kami membuat pola yang kini mungkin disebut pembuat-pemeriksa: satu model membantu menentukan cara menjawab pertanyaan, sementara model lainnya bertindak sebagai validator—LLM sebagai penilai—dengan tujuan yang berlawanan.

Hal itu memunculkan pertanyaan lain: siapa yang menguji penilainya? Merancang validator itu sendiri merupakan tantangan evaluasi. Codex membantu tim mempercepat pekerjaan seperti membuat kasus evaluasi dan memperbarui sistem, tetapi pengembangan yang lebih cepat tidak menghilangkan kebutuhan akan pertimbangan yang matang dan validasi.

Saya akan berinvestasi lebih awal untuk memantau efektivitas model di lingkungan produksi.

Metrik infrastruktur tradisional seperti latensi P99 tetap penting, tetapi tidak cukup. Anda juga perlu memantau efektivitas model di lingkungan produksi.

Pertama, ada kesenjangan besar antara kemampuan teknologi dan kenyataan di dalam perusahaan. Jika perusahaan Anda belum bisa mengimbangi setiap peluncuran model terdepan, Anda tidak sendirian.

Kedua, tetaplah berfokus pada hasil, bukan aktivitas. Aktivitas yang terlihat mudah disalahartikan sebagai kemajuan yang berarti, terutama ketika perusahaan menekankan metrik input. Jumlah baris kode yang dihasilkan, misalnya, tidak menunjukkan apakah Anda telah menciptakan nilai yang berarti.

Terakhir, sebagian besar perusahaan meremehkan keterampilan dan kemampuan manusia untuk mengambil keputusan serta bertindak yang dibutuhkan. Upaya ini tidak boleh sekadar berupa program pelatihan keterampilan umum. Para pemimpin membutuhkan orang yang mampu menggunakan alat-alat ini dengan pertimbangan matang. Berikan alat seperti Codex kepada engineer yang andal, dan dampaknya bisa berlipat ganda; tanpa pertimbangan yang matang untuk memvalidasi sistem produksi, risikonya pun ikut berlipat ganda.

Anda memegang kendali atas sebuah roket. Terutama dalam sistem produksi, Anda membutuhkan validasi dan mekanisme pengaman, serta harus menyerahkan kendali kepada orang yang tepat.