《高階主管思維》系列邀請以 AI 推動轉型的領導者分享觀點。
JioStar 經營的娛樂與體育賽事直播平台擁有超過 5 億名使用者，曾支援多達 7,250 萬人同時觀看體育賽事直播。面對如此龐大的規模，AI 必須快速、可靠，而且能夠投入正式環境運作。
JioStar 運用 OpenAI API，在 JioHotstar 中打造了對話式助理，協助使用者搜尋影片及板球統計數據。觀眾可以用自然的口語尋找電影與節目、歷年精華片段、即時賽事片段或板球統計數據，並透過結合視覺與對話的體驗取得結果。
在 OpenAI 於新加坡舉辦的高階主管峰會上，OpenAI 東協市場進入主管 Sidharth Sharma 與 JioStar 首席架構師 Vijay Seshadri 對談，探討如何在約八週內打造支援逾 15 種語言的體驗，以及這段經驗能為將 AI 從展示推進到正式上線的領導者帶來哪些啟發。
過去 25 年來，探索內容的方式幾乎沒有太大變化。上一次重大轉變，是推薦功能的出現。此後多數發展，都只是在同一個概念上持續改良。
但決定看什麼，其實是一件非常個人化的事。有人可能會說：「我心情不好。找點能讓我開心起來的內容吧。」即使是這麼簡單的要求，也藏著許多細微差異。是什麼樣的難過？平常什麼能讓這個人開心起來？他想看喜劇、讓人感到慰藉的內容，還是能徹底轉移注意力的節目？
傳統推薦系統可能很難理解使用者當下的心境。對話讓觀眾有機會說清楚自己的感受與需求。我們稱之為語音視覺介面。
我們在十月、十一月開始構思，而二月就有一場大型板球賽事。我們只有大約兩個月，而且要服務兩種截然不同的觀眾：娛樂內容觀眾和板球迷。
娛樂內容觀眾可能會說：「週五晚上了，給我一點驚喜吧。」也可能描述一部電影，卻不知道片名。體育觀眾可能想知道更具體的賽況，例如擊球手出局的情況、一連串六分球，或某位球員拿下特定分數的那場比賽。板球行家可能想查詢每一球的統計數據。
這些是截然不同的內容探索需求。我們努力在極短的時間內，將娛樂內容、賽事片段與詳細的板球統計數據整合成單一體驗，並支援多種語言。
很早以前，我們就將這個問題定義為準確度、延遲和成本之間的三方取捨。每一項工程決策都必須同時兼顧這三點。
語音互動讓這件事變得格外重要。我們超過 60% 的使用者選擇語音而非文字：大家更喜歡直接說出想看的內容。即使大規模提供服務，回應仍然必須切合需求、快速，而且成本可負擔。
我會把它分成兩部分來看：評估框架與驗證層。在正式上線前，評估框架應該能促使團隊做出調整。上線後，則應透過回饋循環，將客戶行為與失敗情況轉化為新的評估案例。
這樣的良性循環可以不斷自我強化，但要真正做好卻極其困難。
領域專家的參與不可或缺。在體育統計數據的評估上，我們與體育雜誌編輯等專業人士合作，因為他們了解資深球迷可能會問什麼。不能只靠一段提示詞就開始；你需要先把人類深厚的專業知識注入系統，打好基礎。
我們做對的一件事，就是組成了合適的團隊。一開始，我們以明確的問題定義為核心，組成了一支由資料科學家與工程師構成的小團隊。OpenAI 的前線部署工程師與我們並肩合作，進一步釐清了幾件絕對不能出錯的關鍵事項。
首先是服務範圍。語音或文字介面讓使用者幾乎什麼都能問，因此我們先決定系統不該回答哪些問題。安全防護機制是首要之務。
評估方面，我們先從一組種子資料集著手，再利用模型擴充，增加案例的多樣性。我們建立了一種現在可能稱為「製作與覆核」的模式：一個模型協助決定如何回答問題，另一個則扮演驗證者，也就是以 LLM 擔任評審，兩者的目標相互制衡。
這又引出了另一個問題：誰來測試評審？設計驗證者，本身就是一項評估課題。Codex 協助團隊加快了產生評估案例、更新系統等工作，但開發速度變快，不代表就不再需要判斷與驗證。
我會更早投入資源，監控模型在正式環境中的實際成效。
P99 延遲等傳統基礎架構指標仍然重要，但光靠這些還不夠。你也需要監控模型在正式環境中的實際成效。
首先，技術能做到的事，與企業內部的現實之間，存在很大的落差。如果你的公司沒能跟上每一次前沿模型的發布，你並不孤單。
其次，要持續聚焦成果，而不是做了多少事。人們很容易把看得見的忙碌誤認為有意義的進展，尤其是當公司強調投入指標時。舉例來說，產生了多少行程式碼，並不能告訴你是否創造了實質價值。
最後，多數企業都低估了這件事對人員技能與自主行動能力的要求。這不能只是一般性的技能培訓計畫。領導者需要的是能運用判斷力來使用這些工具的人。把 Codex 這類工具交給優秀的工程師，成效就可能倍增；但如果缺乏驗證正式系統所需的判斷力，風險也會倍增。
你手中掌握的，猶如一枚火箭。尤其在正式系統中，你需要驗證與安全防護機制，也必須把操控權交給對的人。
