Cara Ultrafast memangkas investigasi insiden di OpenAI dari hitungan jam menjadi menit

Artikel ini merupakan bagian dari seri kami yang membagikan contoh penggunaan teknologi dan API OpenAI di lingkungan internal kami sendiri. Alat-alat ini digunakan secara internal di OpenAI dan dibagikan di sini untuk menggambarkan bagaimana AI terdepan mendukung berbagai kebutuhan tim kami.

Ultrafast adalah mode berkecepatan tinggi di Codex, dan bagi para insinyur di OpenAI, mode ini telah menjadi pilihan utama untuk menangani insiden. Saat terjadi gangguan, para insinyur sering kali tidak punya waktu untuk menunggu jawaban selama beberapa menit sementara masalah terus memburuk. Dengan Ultrafast, mereka dapat menyelidiki beberapa kemungkinan penyebab sekaligus dan mendapatkan jawaban tanpa harus membagi perhatian.

Aaron Friel, Anggota Staf Teknis di OpenAI, biasanya memimpin penanganan insiden. Ia membuat kanal Slack untuk menangani insiden, lalu mengarahkan Codex ke masalah tersebut dan memintanya untuk memantau, menyelidiki, serta menjawab setiap pertanyaan yang masuk. “Dalam setiap insiden, biasanya ada banyak titik dalam rangkaian proses yang mungkin bermasalah. Menemukan jarum yang tepat di tumpukan jerami yang tepat itulah tugas utama orang-orang di kanal tersebut,” ujarnya. “Dengan Ultrafast, saya bisa menelusuri semua tumpukan jerami itu secara bersamaan dan menangani insiden jauh lebih cepat.”

AJ Trbojevic, Anggota Staf Teknis sekaligus Arsitek Keamanan Pusat Data, mengatakan bahwa investigasi masalah keamanan sebelumnya memerlukan satu atau dua jam untuk mengumpulkan data terstruktur dan tidak terstruktur, menormalisasikannya, serta menyajikan konteks untuk mengambil keputusan. “Sekarang proses itu selesai dalam 10 hingga 15 menit,” ujarnya. “Dan terkadang nyaris secara real time.”

Adam Perry dan Sayan Sisodiya sama-sama bekerja di tim inti agen, mengembangkan kode yang memungkinkan Codex mengambil tindakan, menjalankan perintah, dan menggunakan alat. Ultrafast telah mengubah cara mereka bekerja saat terjadi insiden keamanan. “Dulu, saya meminta Codex menyelidiki sesuatu, lalu menyelidikinya sendiri pada saat yang sama, karena saya tahu Codex belum cukup cepat untuk bisa saya andalkan hanya dengan menunggu,” ujar Adam. “Sekarang dengan Ultrafast, Codex sudah cukup cepat sehingga saya bisa tetap fokus tanpa harus membagi perhatian.”

Sayan menyukai kemampuan Ultrafast untuk memberinya jawaban langsung dari berbagai sumber data: “Selain menelusuri log saat terjadi insiden, saya menggunakan Codex untuk menelusuri Slack dan melihat apakah ada yang menyebut perubahan yang patut dicurigai atau membahas gejala serupa di bagian lain Slack,” ujarnya.

Jeff Niu, yang juga merupakan Anggota Staf Teknis, mengatakan bahwa jika mencari jawaban dengan AI memakan waktu lebih dari 30 detik, ia akan beralih memeriksa Slack atau mengobrol dengan rekan kerja. Namun, dengan Ultrafast, waktu tunggu untuk sebagian besar pekerjaannya kini sudah di bawah batas tersebut. Dulu, ia mengajukan pertanyaan kepada Codex, beralih ke hal lain selagi Codex berpikir, lalu kembali dengan alur pikir yang sudah terputus. Kini percakapan itu berlangsung secara real time, sehingga ia bisa tetap fokus pada tugas yang sedang dikerjakan.

Ultrafast juga membuat Jeff lebih bersedia melakukan refaktorisasi besar-besaran, karena menata ulang kode yang ada kini membutuhkan lebih sedikit waktu. “Utang teknis kini jauh lebih mudah dilunasi dibandingkan sebelumnya,” ujarnya. “Biaya pembuatan kode itu murah, dan sekarang prosesnya juga sangat cepat. Refaktorisasi yang dulu memakan banyak biaya kini selesai hampir seketika.”

Adam memiliki satu utas percakapan berkelanjutan dengan Codex yang ia sebut sebagai kepala stafnya. Setiap pagi, Codex memberi tahu jadwal rapatnya dan pesan-pesan yang mungkin lupa ia balas. “Codex sudah meninjau semua data untuk menulis ringkasan itu. Jadi, saat saya mengajukan pertanyaan lanjutan, tidak perlu ada jeda untuk mengambil data lagi,” ujarnya. “Saya bisa terus bertanya dalam percakapan yang sama, layaknya berbicara dengan kepala staf sungguhan.”

Sayan menggunakan Codex untuk mengerjakan tugas manual yang membosankan di browser, seperti mengisi formulir—sesuatu yang sebelumnya ia hindari karena terlalu lambat. “Dulu Codex membuka browser, diam berpikir selama lima detik, mengeklik sesuatu, lalu diam lagi,” ujarnya. Dengan meningkatnya kemampuan model-model terbaru dalam mengoperasikan komputer, ia kini lebih nyaman menyerahkan pekerjaan itu kepada Codex. “Sekarang saya tidak ragu membiarkan Codex mengeklik berbagai hal di browser. Kerjanya cukup cepat sehingga saya tidak membuang waktu dengan menyerahkannya kepada Codex alih-alih mengerjakannya sendiri.”

Dalam penanganan insiden, perencanaan harian, maupun refaktorisasi, Ultrafast memungkinkan Staf Teknis OpenAI bekerja dengan Codex yang mampu mengimbangi laju pertanyaan mereka. Mereka dapat menindaklanjuti jawaban, mencoba pendekatan lain, dan terus bekerja tanpa kehilangan alur pikir. Waktu tunggu yang lebih singkat juga membuat mereka bersedia menangani lebih banyak hal, mulai dari refaktorisasi yang sempat ditunda hingga tugas rutin yang akhirnya layak didelegasikan.