我們的《高管視角》系列，分享領導者如何運用 AI 推動轉型的見解。
JioStar 營運的娛樂及體育賽事直播平台擁有超過 5 億名用戶，曾支援多達 7,250 萬名觀眾同時收看體育賽事直播。要支援如此龐大的規模，AI 必須快速、可靠，並能投入正式運作。
JioStar 運用 OpenAI API，在 JioHotstar 中加入了對話式助手，讓用戶搜尋影片及板球統計數據。觀眾可以用自然的語言，尋找電影、節目、歷來的精彩片段、直播賽事中的時刻，或板球統計數據，並透過結合視覺與對話的體驗取得結果。
在新加坡舉行的 OpenAI 高管峰會上，OpenAI 東盟市場進入策略主管 Sidharth Sharma 與 JioStar 首席架構師 Vijay Seshadri 對談，探討如何在約八星期內打造支援超過 15 種語言的體驗，以及領導者將 AI 從示範階段推進至正式運作時可借鑑的經驗。
過去 25 年，人們探索內容的方式幾乎沒有甚麼變化。上一次重大轉變，是推薦功能的出現。此後的發展，大多只是沿用同一概念，不斷改良。
但選擇看甚麼，是一件非常個人化的事。有人可能會說：「我有點難過。找些能讓我開心起來的內容。」即使是這麼簡單的要求，也蘊含許多細微差別。是哪一種難過？甚麼通常能讓這個人開心起來？他想看的是喜劇、令人感到慰藉的內容，還是能讓他完全分心的節目？
傳統推薦系統可能很難理解他當下的心情和需要。對話則讓觀眾有機會說清楚。我們稱之為語音視覺介面。
我們在 10 月和 11 月開始仔細研究這個構思，當時一場大型板球賽事將於翌年 2 月舉行。我們只有大約兩個月，還要面對兩類截然不同的觀眾：娛樂節目觀眾和板球迷。
娛樂節目觀眾可能會說：「今天是星期五晚上，給我一點驚喜吧。」也可能描述一部電影，卻不知道片名。體育觀眾可能想查看更具體的賽況，例如擊球手出局的片段、一連串六分球，或某位球員取得特定分數的那場比賽。熟悉板球的觀眾可能想查看每一球的統計數據。
這些內容搜尋需求截然不同。我們要在很短的時間內，將娛樂內容、體育賽事片段及詳盡的板球統計數據整合成單一體驗，並支援多種語言。
我們很早就將問題定義為準確度、延遲和成本三者之間的取捨。每一項工程決策都必須同時平衡這三個因素。
加入語音功能後，這一點尤其重要。超過 60% 的用戶使用語音而非文字：人們更喜歡直接說出自己想看甚麼。回應既要切合需求、速度夠快，也要在大規模使用下維持合理成本。
我會分成兩部分來看：評估框架和驗證層。在投入正式運作前，評估框架應能推動改進。投入正式運作後，應透過回饋循環，將客戶行為和失敗情況轉化為新的評估案例。
這個良性循環可以不斷自我強化，但要做好卻極其困難。
領域專家不可或缺。在體育統計數據的評估工作上，我們與體育雜誌編輯等專業人士合作，因為他們了解資深球迷可能會問甚麼。起步時不能只有提示詞；你需要先為系統注入人類深厚的專業知識。
我們做對的一件事，就是組建了合適的團隊。我們先明確界定要解決的問題，再由數據科學家和工程師組成小型團隊展開工作。OpenAI 的駐場工程師與我們並肩合作，進一步釐清幾項絕對不能出錯的關鍵事項。
首先是界定範圍。語音或文字介面讓用戶幾乎可以問任何問題，因此我們先決定系統不應回答甚麼。安全防護機制是首要工作。
在評估方面，我們從一組初始數據集着手，並運用模型擴充，增加案例的多樣性。我們建立了一種現在可能稱為「產出—覆核」的模式：一個模型協助決定如何回答問題，另一個則以相互制衡的目標負責驗證，也就是讓 LLM 擔任評審。
這又帶出另一個問題：誰來測試評審？設計驗證模型，本身就是一道評估難題。Codex 協助團隊加快產生評估案例和更新系統等工作，但開發速度提升，並不代表可以省卻判斷與驗證。
我會更早投入資源，監察模型在正式運作環境中的成效。
P99 延遲等傳統基礎設施指標仍然重要，但並不足夠。你還需要監察模型在正式運作環境中的成效。
首先，技術所能做到的事，與企業內部的實際情況之間，存在很大落差。如果你的公司未能跟上每次前沿模型發佈的步伐，你並不孤單。
其次，要持續專注於成果，而非做了多少事。人們很容易把表面上的忙碌誤當成實質進展，尤其當公司着重衡量投入的指標時。例如，產生了多少行程式碼，並不能說明你是否創造了實質價值。
最後，大多數企業都低估了所需的人員技能和自主判斷、行動的能力。這不能只靠一套通用技能培訓計劃來解決。領導者需要能憑良好判斷運用這些工具的人才。給優秀的工程師配備 Codex 這類工具，成效可以倍增；但若缺乏驗證正式運作系統所需的判斷力，風險也會倍增。
你手中掌握的，就像一枚火箭。尤其對於正式運作的系統，你需要驗證和安全防護機制，也需要將操控權交給合適的人。
