JioStar: khám phá nội dung bằng AI cho 500 triệu người dùng

Loạt bài Executive Function chia sẻ góc nhìn của các nhà lãnh đạo đang thúc đẩy chuyển đổi bằng AI.

JioStar vận hành các nền tảng giải trí và thể thao trực tiếp với hơn 500 triệu người dùng, từng phục vụ tới 72,5 triệu người xem thể thao trực tiếp cùng lúc. Ở quy mô đó, AI phải nhanh, đáng tin cậy và sẵn sàng vận hành thực tế.

Sử dụng API của OpenAI, JioStar đã tích hợp vào JioHotstar một trợ lý giúp khám phá video và số liệu thống kê cricket qua trò chuyện. Người xem có thể nói một cách tự nhiên để tìm phim và chương trình, những pha nổi bật trong quá khứ, khoảnh khắc trong trận đấu trực tiếp hoặc số liệu thống kê cricket. Kết quả được trả về qua một trải nghiệm kết hợp hình ảnh và trò chuyện.

Tại Hội nghị Lãnh đạo của OpenAI ở Singapore, Sidharth Sharma, Trưởng bộ phận Tiếp cận thị trường ASEAN của OpenAI, đã trò chuyện với Vijay Seshadri, Kiến trúc sư trưởng của JioStar, về việc xây dựng trải nghiệm hỗ trợ hơn 15 ngôn ngữ trong khoảng tám tuần, cùng những bài học cho các nhà lãnh đạo đưa AI từ bản demo vào vận hành thực tế.

Cách khám phá nội dung hầu như không thay đổi trong 25 năm qua. Hệ thống đề xuất nội dung là bước chuyển lớn gần đây nhất. Phần lớn những gì xuất hiện sau đó chỉ là cải tiến dựa trên cùng ý tưởng ấy.

Nhưng việc chọn xem gì lại mang tính cá nhân sâu sắc. Một người có thể nói: “Tôi đang buồn. Tìm cho tôi thứ gì xem để vui lên.” Ngay cả yêu cầu đơn giản đó cũng chứa đựng nhiều sắc thái. Đó là nỗi buồn như thế nào? Điều gì thường khiến người đó vui lên? Họ muốn xem hài, nội dung mang lại cảm giác dễ chịu hay thứ gì đó khiến họ hoàn toàn quên đi nỗi buồn?

Một hệ thống đề xuất truyền thống có thể khó hiểu được tâm trạng lúc đó. Trò chuyện giúp người xem diễn đạt điều ấy. Chúng tôi gọi đây là giao diện kết hợp giọng nói và hình ảnh.

Chúng tôi bắt đầu nghiên cứu ý tưởng vào tháng 10 và tháng 11, trong khi một giải cricket lớn sẽ diễn ra vào tháng 2. Chúng tôi có khoảng hai tháng và hai nhóm khán giả rất khác nhau: người xem nội dung giải trí và người hâm mộ cricket.

Người xem nội dung giải trí có thể nói: “Tối thứ Sáu rồi, hãy cho tôi một bất ngờ”, hoặc mô tả một bộ phim mà không biết tên. Người xem thể thao có thể muốn cập nhật cụ thể hơn, như các lần người đánh bóng bị loại, một loạt cú đánh ghi sáu điểm, hoặc trận đấu mà một cầu thủ ghi được số điểm nhất định. Những người am hiểu cricket có thể muốn xem số liệu thống kê của từng lượt ném bóng.

Đây là những bài toán khám phá nội dung rất khác nhau. Chúng tôi đã tìm cách đưa nội dung giải trí, các khoảnh khắc thể thao và số liệu thống kê cricket chi tiết vào một trải nghiệm duy nhất, hỗ trợ nhiều ngôn ngữ, trong thời gian rất ngắn.

Ngay từ đầu, chúng tôi đã xác định đây là bài toán đánh đổi giữa ba yếu tố: độ chính xác, độ trễ và chi phí. Mỗi quyết định kỹ thuật đều phải cân bằng cả ba yếu tố cùng lúc.

Tương tác bằng giọng nói khiến điều đó đặc biệt quan trọng. Hơn 60% người dùng của chúng tôi sử dụng giọng nói thay vì văn bản: mọi người thích nói ra nội dung mình muốn xem hơn. Phản hồi vẫn phải phù hợp, nhanh và có chi phí khả thi khi phục vụ ở quy mô lớn.

Tôi chia hệ thống thành hai phần: khung đánh giá và lớp kiểm chứng. Trước khi đưa vào vận hành thực tế, khung đánh giá phải giúp xác định những thay đổi cần thiết. Khi vận hành thực tế, cần có một vòng phản hồi biến hành vi của khách hàng và các lỗi phát sinh thành những tình huống đánh giá mới.

Chu trình đó có thể tự củng cố và ngày càng hiệu quả, nhưng để thiết lập cho đúng thì vô cùng khó.

Chuyên gia trong lĩnh vực là không thể thiếu. Để đánh giá khả năng xử lý số liệu thống kê thể thao, chúng tôi hợp tác với những người như biên tập viên tạp chí thể thao, vốn hiểu người hâm mộ chuyên sâu có thể hỏi gì. Bạn không thể bắt đầu chỉ với một câu lệnh; bạn cần trang bị cho hệ thống nền tảng kiến thức chuyên sâu từ con người.

Một điều chúng tôi đã làm đúng là xây dựng đội ngũ. Chúng tôi bắt đầu với một nhóm nhỏ gồm các nhà khoa học dữ liệu và kỹ sư, cùng tập trung vào một bài toán được xác định rõ ràng. Các kỹ sư triển khai trực tiếp của OpenAI sát cánh cùng chúng tôi để xác định rõ hơn một số ít việc mà chúng tôi nhất thiết phải làm đúng.

Đầu tiên là phạm vi. Giao diện giọng nói hoặc văn bản cho phép người dùng hỏi gần như bất cứ điều gì, nên chúng tôi bắt đầu bằng việc xác định những gì hệ thống không nên trả lời. Các cơ chế bảo vệ được ưu tiên trước hết.

Về đánh giá, chúng tôi bắt đầu với một tập dữ liệu ban đầu, rồi dùng các mô hình để mở rộng và đa dạng hóa tập dữ liệu đó. Chúng tôi tạo ra cách tổ chức mà ngày nay có thể gọi là cơ chế người tạo–người kiểm tra: một mô hình giúp xác định cách trả lời câu hỏi, còn mô hình kia đóng vai trò kiểm chứng, tức một LLM làm giám khảo, với mục tiêu đối trọng.

Điều đó lại đặt ra câu hỏi khác: ai kiểm tra giám khảo? Bản thân việc thiết kế bộ kiểm chứng cũng là một bài toán đánh giá. Codex giúp nhóm đẩy nhanh các công việc như tạo tình huống đánh giá và cập nhật hệ thống, nhưng phát triển nhanh hơn không có nghĩa là không cần khả năng phán đoán và kiểm chứng.

Tôi sẽ đầu tư sớm hơn vào việc giám sát hiệu quả của mô hình khi vận hành thực tế.

Các chỉ số hạ tầng truyền thống như độ trễ P99 vẫn quan trọng, nhưng chưa đủ. Bạn còn cần giám sát hiệu quả của mô hình khi vận hành thực tế.

Thứ nhất, có một khoảng cách lớn giữa khả năng của công nghệ và thực tế bên trong doanh nghiệp. Nếu công ty bạn chưa theo kịp mỗi đợt công bố mô hình tiên phong, thì không chỉ riêng bạn gặp tình trạng đó.

Thứ hai, hãy tiếp tục tập trung vào kết quả thay vì chỉ nhìn vào các hoạt động. Ta rất dễ nhầm những hoạt động nhìn thấy được với tiến bộ có ý nghĩa, nhất là khi doanh nghiệp chú trọng các chỉ số đầu vào. Chẳng hạn, số dòng mã được tạo ra không cho biết bạn có tạo ra giá trị thực sự hay không.

Cuối cùng, hầu hết doanh nghiệp đều đánh giá thấp mức độ kỹ năng và khả năng chủ động của con người cần có. Không thể chỉ dừng lại ở một chương trình đào tạo kỹ năng chung chung. Các nhà lãnh đạo cần những người biết vận dụng các công cụ này với khả năng phán đoán tốt. Trao cho một kỹ sư giỏi công cụ như Codex, hiệu quả có thể tăng gấp bội; nhưng nếu thiếu khả năng phán đoán để kiểm chứng hệ thống vận hành thực tế, rủi ro cũng tăng gấp bội.

Bạn đang nắm trong tay một tên lửa. Đặc biệt với các hệ thống vận hành thực tế, bạn cần kiểm chứng, cần cơ chế bảo vệ và cần trao quyền điều khiển cho đúng người.