JioStar başmimarı: 500 milyon kullanıcı için AI ile keşif

Executive Function serimiz, AI ile dönüşüme öncülük eden liderlerin görüşlerine yer veriyor.

JioStar, 500 milyondan fazla tüketicinin kullandığı eğlence ve canlı spor yayını platformlarını işletiyor. Bu platformlarda eş zamanlı canlı spor izleyicisi sayısı 72,5 milyona kadar ulaştı. Bu ölçekte AI'ın hızlı, güvenilir ve gerçek kullanıma hazır olması gerekiyor.

JioStar, OpenAI API'sini kullanarak JioHotstar'a sohbet yoluyla video ve kriket istatistikleri bulmayı sağlayan bir asistan ekledi. İzleyiciler doğal bir şekilde konuşarak film ve dizileri, geçmişten unutulmaz anları, canlı maçlardan anları veya kriket istatistiklerini bulabiliyor. Sonuçlar, görselliği sohbetle birleştiren bir deneyimle sunuluyor.

OpenAI'ın Singapur'daki Yönetici Zirvesi'nde, OpenAI ASEAN Pazara Giriş Stratejisi Lideri Sidharth Sharma, JioStar Başmimarı Vijay Seshadri ile bir araya geldi. Yaklaşık sekiz haftada 15'ten fazla dili destekleyen bu deneyimi geliştirmeyi ve AI'ı demodan gerçek kullanıma taşıyan liderler için çıkarılabilecek dersleri konuştular.

İçerik keşfi son 25 yılda çok az değişti. Son büyük değişim, öneri sistemleriydi. Ardından gelenlerin çoğu, aynı fikrin farklı sürümleriydi.

Oysa ne izleyeceğine karar vermek son derece kişisel bir seçim. Bir kişi şöyle diyebilir: “Kendimi üzgün hissediyorum. Bana neşemi yerine getirecek bir şey göster.” Bu basit istekte bile pek çok incelik var. Nasıl bir üzüntü yaşıyor? Genelde neşesini ne yerine getirir? Komedi mi, içini rahatlatacak bir şey mi, yoksa kafasını tamamen dağıtacak bir şey mi istiyor?

Geleneksel bir öneri sistemi, o anki durumu anlamakta zorlanabilir. Sohbet, izleyiciye bunu anlatma imkânı veriyor. Biz buna sesli-görsel arayüz diyoruz.

Şubat ayında büyük bir kriket turnuvası vardı. Biz de ekim ve kasım aylarında bu fikir üzerinde çalışmaya başladık. Yaklaşık iki ayımız ve birbirinden çok farklı iki kitlemiz vardı: eğlence içerikleri izleyenler ve kriket tutkunları.

Eğlence içerikleri izleyen biri, “Cuma akşamı, beni şaşırt” diyebilir ya da adını bilmediği bir filmi tarif edebilir. Spor izleyicileri ise oyuncuların elendiği anlar, art arda altılık vuruşlar veya bir oyuncunun belirli sayıda koşu yaptığı maç gibi daha spesifik bilgiler isteyebilir. Kriket uzmanları, her topa ilişkin istatistikler isteyebilir.

Bunlar, içerik keşfi açısından çok farklı sorunlar. Çok kısa bir sürede eğlence içeriklerini, spor karşılaşmalarından anları ve ayrıntılı kriket istatistiklerini birden fazla dilde tek bir deneyimde buluşturmak için çalıştık.

Daha en başta sorunu doğruluk, gecikme ve maliyet arasında üçlü bir denge kurma meselesi olarak tanımladık. Her mühendislik kararında bu üçünü aynı anda dengelemek gerekiyordu.

Sesli kullanım, bunu özellikle önemli hâle getirdi. Kullanıcılarımızın %60'ından fazlası yazmak yerine sesli iletişimi kullanıyor: İnsanlar ne izlemek istediklerini söylemeyi tercih ediyor. Yanıtın yine de isteğe uygun, hızlı ve büyük ölçekte ekonomik açıdan sürdürülebilir olması gerekiyor.

Bunu iki parça olarak ele alıyorum: bir değerlendirme çerçevesi ve bir doğrulama katmanı. Canlı kullanıma geçmeden önce, değerlendirme çerçevesi yapılacak değişikliklere yön vermeli. Canlı ortamda ise bir geri bildirim döngüsü, müşteri davranışlarını ve hataları yeni değerlendirme senaryolarına dönüştürmeli.

Bu döngü kendi kendini güçlendirebilir, ancak düzgün işlemesini sağlamak son derece zor.

Alan uzmanları vazgeçilmez. Spor istatistikleri değerlendirmelerinde, sıkı taraftarların neler sorabileceğini bilen spor dergisi editörleri gibi kişilerle çalıştık. Yalnızca bir prompt ile yola çıkamazsınız; sistemi en baştan insanların derin uzmanlığıyla beslemelisiniz.

Doğru yaptığımız şeylerden biri, ekip seçimiydi. Net bir problem tanımı etrafında, veri bilimcilerden ve mühendislerden oluşan küçük bir ekiple başladık. OpenAI'ın sahada çalışan mühendisleri, mutlaka doğru yapmamız gereken birkaç kritik noktayı netleştirmek için bizimle birlikte çalıştı.

Bunların ilki kapsamdı. Sesli veya yazılı bir arayüz, kullanıcıların neredeyse her şeyi sormasına imkân tanıyor. Bu yüzden önce sistemin hangi soruları yanıtlamaması gerektiğine karar verdik. Önceliğimiz güvenlik önlemleriydi.

Değerlendirmeler için bir başlangıç veri kümesi oluşturduk ve modelleri kullanarak bunu daha çeşitli örneklerle genişlettik. Bugün üretici-denetçi düzeni diyebileceğimiz bir yapı kurduk: Bir model, sorunun nasıl yanıtlanacağını belirlemeye yardımcı olurken diğeri, karşıt bir hedefle doğrulayıcı rolünü üstleniyordu. Yani bir LLM hakemlik yapıyordu.

Bu da başka bir soruyu gündeme getirdi: Hakemi kim test edecek? Doğrulayıcıyı tasarlamak başlı başına bir değerlendirme problemiydi. Codex, değerlendirme senaryoları oluşturmak ve sistemi güncellemek gibi işleri hızlandırmada ekibe yardımcı oldu. Ancak geliştirme sürecinin hızlanması, sağduyulu karar verme ve doğrulama ihtiyacını ortadan kaldırmadı.

Modelin etkililiğini canlı ortamda izlemeye daha erken yatırım yapardım.

P99 gecikmesi gibi geleneksel altyapı metrikleri hâlâ önemli, ancak yeterli değil. Modelin etkililiğini de canlı ortamda izlemeniz gerekiyor.

Öncelikle, teknolojinin yapabilecekleriyle bir kurumun içindeki gerçekler arasında büyük bir fark var. Şirketiniz, en üst seviye modellerle ilgili her yeni duyuruya ayak uyduramadıysa yalnız değilsiniz.

İkincisi, yapılan iş miktarı yerine sonuçlara odaklanmaya devam edin. Özellikle şirketler girdi metriklerine ağırlık verdiğinde, görünür hareketliliği anlamlı bir ilerleme sanmak kolay. Örneğin, üretilen kod satırı sayısı, anlamlı bir değer yaratıp yaratmadığınızı göstermez.

Son olarak, çoğu kurum insanların sahip olması gereken becerileri ve inisiyatif alma yetisini hafife alıyor. Bu iş, genel bir beceri kazandırma programıyla sınırlı kalamaz. Liderlerin, bu araçları sağduyulu kararlar alarak kullanabilecek insanlara ihtiyacı var. Yetkin bir mühendise Codex gibi bir araç verdiğinizde etkisi katlanabilir. Ancak canlı sistemleri doğrulamak için gereken muhakeme yetisi yoksa risk de katlanır.

Elinizde bir roket var. Özellikle canlı sistemlerde doğrulama ve güvenlik önlemleri şart. Kontrolü de doğru kişilere vermelisiniz.