我们的《高管视角》系列汇集了借助 AI 推动变革的领导者的见解。
JioStar 运营的娱乐和体育直播平台拥有超过 5 亿用户，曾支持多达 7,250 万人同时观看体育直播。面对这样的规模，AI 必须响应迅速、运行可靠，并能投入生产环境。
借助 OpenAI API，JioStar 在 JioHotstar 中构建了一款对话式助手，帮助用户查找视频和板球统计数据。观众可以通过自然的口语查找电影和节目、往期精彩片段、直播比赛瞬间或板球统计数据，并在可视化的对话体验中获取结果。
在新加坡举行的 OpenAI 高管峰会上，OpenAI 东盟市场进入负责人 Sidharth Sharma 与 JioStar 首席架构师 Vijay Seshadri 展开对话，探讨了如何在约八周内打造支持 15 种以上语言的体验，以及这段经历能为推动 AI 从演示走向生产应用的领导者提供哪些经验。
过去 25 年里，内容发现方式几乎没有太大变化。上一次重大转变是推荐机制的出现。此后的大多数变化，都只是围绕同一个思路进行迭代。
但选择看什么，是一件非常个人化的事。有人可能会说：“我有点难过。给我找点能让我开心起来的内容。”即便这样一个简单的请求，也包含许多微妙之处。是怎样的难过？这个人通常看什么会开心起来？他想看喜剧、让人感到慰藉的节目，还是能让自己彻底转移注意力的内容？
传统推荐系统可能很难理解他此刻的需求。而对话让观众有机会把需求说清楚。我们将其称为语音视觉界面。
我们在 10 月和 11 月开始梳理这个构想，而一场大型板球赛事将在次年 2 月举行。我们只有大约两个月的时间，而且要面对两类截然不同的受众：娱乐内容观众和板球迷。
娱乐内容观众可能会说：“周五晚上了，给我来点惊喜吧。”也可能描述一部电影，却不知道片名。体育观众可能想了解更具体的赛况，比如击球手出局的情况、一连串六分球，或某位球员拿到特定分数的那场比赛。资深板球迷可能想了解每一球的统计数据。
这些内容查找需求截然不同。我们努力在很短的时间内，将娱乐内容、体育精彩瞬间和详细的板球统计数据整合到统一的多语言体验中。
很早的时候，我们就把问题归结为准确性、延迟和成本之间的三方权衡。每一项工程决策都必须同时平衡这三个因素。
语音交互让这一点尤为重要。超过 60% 的用户使用语音而非文字：大家更愿意直接说出想看什么。即使在大规模使用时，响应也必须切合需求、足够迅速，同时成本可控。
我把它分为两部分：评估框架和验证层。上线之前，评估框架应当推动系统改进。上线之后，应通过反馈闭环，将客户行为和失败案例转化为新的评估用例。
这个循环可以形成不断自我强化的飞轮效应，但要做好极其困难。
领域专家必不可少。在体育统计数据的评估中，我们与体育杂志编辑等专业人士合作，因为他们了解资深球迷可能会问什么。不能只靠一个提示词起步；你需要先将人类深厚的专业知识注入系统。
我们做对的一件事，就是组建了合适的团队。一开始，我们围绕一个定义清晰的问题，组建了一支由数据科学家和工程师组成的小团队。OpenAI 的前线部署工程师与我们并肩合作，进一步明确了几项必须做好的关键工作。
首先是界定范围。通过语音或文字界面，用户几乎可以问任何问题，所以我们先确定系统不应该回答哪些问题。防护措施是第一位的。
在评估方面，我们从种子数据集入手，利用模型扩充数据，增加样本的多样性。我们建立了一种现在或许可以称为“生成者—检查者”的模式：一个模型帮助确定如何回答问题，另一个模型则以相互制衡的目标承担验证工作，也就是让 LLM 充当裁判。
这又引出了另一个问题：谁来测试裁判？设计验证器本身就是一个评估问题。Codex 帮助团队加快了生成评估用例、更新系统等工作，但开发速度更快，并不意味着可以省去判断和验证。
我会更早投入资源，监控模型在生产环境中的实际效果。
P99 延迟等传统基础设施指标依然重要，但仅有这些还不够。你还需要监控模型在生产环境中的实际效果。
首先，技术能做到什么，与企业内部的实际情况之间，存在很大差距。如果你的公司没能跟上每一次前沿模型发布的步伐，那你并不是个例。
其次，始终关注成果，而不是做了多少事。人们很容易把表面的忙碌误认为实质性进展，尤其是在企业强调投入指标的时候。例如，生成了多少行代码，并不能说明你是否创造了真正的价值。
最后，大多数企业低估了这项工作对人的技能和主观能动性的要求。不能仅仅开展一项通用技能培训就了事。领导者需要的是能够运用判断力、善用这些工具的人。给优秀的工程师配上 Codex 这样的工具，成效可以成倍提升；但如果缺乏验证生产系统所需的判断力，风险也会成倍增加。
你手中掌握的就像是一枚火箭。尤其是在生产系统中，你需要验证和防护措施，也需要把控制权交给合适的人。
