Ultrafast rút ngắn thời gian điều tra sự cố tại OpenAI từ hàng giờ xuống vài phút như thế nào

Bài viết thuộc loạt bài chia sẻ các ví dụ nội bộ về cách OpenAI sử dụng công nghệ và API của chính mình. Những công cụ này đang được sử dụng trong nội bộ OpenAI và được giới thiệu ở đây để minh họa cách AI tiên phong hỗ trợ các nhu cầu ứng dụng trong những nhóm của chúng tôi.

Ultrafast là chế độ tốc độ cao trong Codex và đã trở thành lựa chọn mặc định của các kỹ sư OpenAI khi ứng phó sự cố. Khi có trục trặc, các kỹ sư thường không có thời gian chờ hàng phút để nhận câu trả lời trong lúc vấn đề ngày càng trầm trọng. Với Ultrafast, họ có thể điều tra đồng thời nhiều nguyên nhân tiềm ẩn và nhận câu trả lời mà không phải phân tán sự chú ý.

Aaron Friel, thành viên đội ngũ kỹ thuật tại OpenAI, thường là người chỉ huy ứng phó sự cố. Anh tạo một kênh Slack để ứng phó sự cố rồi giao vấn đề cho Codex, yêu cầu Codex theo dõi, điều tra và giải đáp mọi câu hỏi ngay khi có người đặt ra. Anh chia sẻ: “Trong bất kỳ sự cố nào, thường có rất nhiều khâu có thể xảy ra lỗi. Công việc chính của những người trong kênh đó thực sự là xác định đúng nơi cần tìm và tìm ra đúng manh mối, chẳng khác nào tìm kim đáy bể. Với Ultrafast, về cơ bản tôi có thể tìm kiếm ở tất cả những nơi đó cùng lúc và ứng phó sự cố nhanh hơn nhiều.”

AJ Trbojevic, thành viên đội ngũ kỹ thuật kiêm kiến trúc sư bảo mật trung tâm dữ liệu, cho biết trước đây, khi điều tra vấn đề bảo mật, họ phải mất một đến hai giờ để tập hợp dữ liệu có cấu trúc và phi cấu trúc, chuẩn hóa dữ liệu rồi cung cấp bối cảnh phục vụ việc ra quyết định. Anh nói: “Giờ đây, việc đó chỉ mất 10 đến 15 phút. Có lúc còn gần như theo thời gian thực.”

Adam Perry và Sayan Sisodiya đều làm việc trong nhóm phát triển tác nhân cốt lõi, xây dựng mã cho phép Codex thực hiện hành động, chạy lệnh và sử dụng công cụ. Ultrafast đã thay đổi cách họ làm việc khi xảy ra sự cố bảo mật. Adam chia sẻ: “Trước đây, tôi yêu cầu Codex tìm hiểu một vấn đề rồi đồng thời tự mình tìm hiểu, vì tôi biết Codex không đủ nhanh để cứ ngồi chờ. Giờ đây, với Ultrafast, Codex đã đủ nhanh để tôi duy trì sự tập trung thay vì phải phân tán sự chú ý.”

Sayan đánh giá cao việc Ultrafast giúp anh nhận ngay câu trả lời từ nhiều nguồn dữ liệu: “Ngoài việc rà soát nhật ký khi có sự cố, tôi còn dùng Codex để tìm trong Slack xem có ai nhắc đến những thay đổi đáng ngờ hoặc bàn về các dấu hiệu tương tự ở nơi khác trên Slack hay không,” anh nói.

Jeff Niu, một thành viên khác của đội ngũ kỹ thuật, cho biết nếu mất hơn 30 giây để tìm câu trả lời bằng AI, anh sẽ chuyển sang xem Slack hoặc trò chuyện với đồng nghiệp. Nhưng với Ultrafast, giờ đây phần lớn công việc của anh đều có thời gian chờ dưới ngưỡng đó. Trước đây, anh thường đặt câu hỏi cho Codex rồi chuyển sang việc khác trong lúc Codex xử lý, để rồi khi quay lại thì đã mất mạch suy nghĩ của mình. Giờ đây, cuộc trao đổi diễn ra theo thời gian thực, giúp anh tập trung vào công việc đang làm.

Ultrafast cũng khiến Jeff sẵn sàng thực hiện những đợt tái cấu trúc mã quy mô lớn hơn, vì việc chỉnh sửa mã hiện có tốn ít thời gian hơn. Anh nói: “Giờ đây, việc giảm nợ kỹ thuật dễ dàng hơn rất nhiều so với trước kia. Chi phí viết mã vốn đã thấp, giờ tốc độ tạo mã còn rất nhanh. Một lần tái cấu trúc mã trước kia rất tốn kém giờ diễn ra gần như tức thì.”

Adam duy trì một cuộc trò chuyện xuyên suốt với Codex mà anh gọi là chánh văn phòng của mình. Mỗi sáng, Codex cho anh biết lịch họp và những tin nhắn anh có thể đã quên trả lời. Anh chia sẻ: “Codex đã xem hết dữ liệu để viết bản tóm tắt đó, nên khi tôi hỏi tiếp, không cần mất thời gian lấy thêm thông tin. Tôi có thể tiếp tục đặt câu hỏi ngay trong cuộc trò chuyện đó, hệt như đang trao đổi với một chánh văn phòng thực thụ.”

Sayan dùng Codex để làm những việc thủ công tẻ nhạt trong trình duyệt, như điền biểu mẫu, những việc trước đây anh không giao cho Codex vì tốc độ quá chậm. Anh kể: “Codex mở trình duyệt, ngồi suy nghĩ năm giây, nhấp vào một chỗ rồi lại ngồi chờ.” Nhờ những cải tiến về khả năng sử dụng máy tính của các mô hình mới nhất, anh yên tâm hơn khi để Codex đảm nhiệm công việc đó. “Giờ tôi hoàn toàn yên tâm để Codex thao tác trên trình duyệt, vì tốc độ đã đủ nhanh để tôi không mất thêm thời gian so với tự làm.”

Từ ứng phó sự cố, lên kế hoạch hằng ngày đến tái cấu trúc mã, Ultrafast giúp đội ngũ kỹ thuật OpenAI làm việc với Codex ở tốc độ theo kịp nhịp đặt câu hỏi của họ. Họ có thể hỏi sâu hơn về một câu trả lời, thử cách tiếp cận khác và tiếp tục làm việc mà không mất mạch suy nghĩ. Thời gian chờ ngắn hơn cũng thay đổi những việc họ sẵn sàng thực hiện, từ đợt tái cấu trúc mã từng bị trì hoãn đến công việc thường lệ mà giờ đây giao cho Codex mới thực sự có lợi.