Ultra Hızlı, OpenAI’da olay inceleme süresini saatlerden dakikalara nasıl indirdi?

Bu yazı, OpenAI’ın kendi teknolojisini ve API’lerini nasıl kullandığına dair şirket içi örnekleri paylaştığımız serinin bir parçasıdır. OpenAI bünyesinde kullanılan bu araçları, en üst seviye yapay zekânın ekiplerimizin farklı kullanım senaryolarını nasıl desteklediğini gösteren örnekler olarak burada paylaşıyoruz.

Codex’in yüksek hızlı modu Ultra Hızlı, OpenAI mühendislerinin olay müdahalesinde ilk tercihi hâline geldi. Bir şeyler ters gittiğinde, sorun büyürken mühendislerin bir yanıt için dakikalarca bekleyecek zamanı genellikle olmaz. Ultra Hızlı ile birden fazla olası nedeni aynı anda inceleyebilir, dikkatlerini bölmeden yanıt alabilirler.

OpenAI teknik ekibinden Aaron Friel, olay müdahalesini genellikle yöneten kişi. Olay müdahalesi için bir Slack kanalı açıyor, ardından Codex’i soruna yönlendirerek durumu izlemesini, incelemesini ve gelen soruları yanıtlamasını istiyor. “Her olayda, sürecin pek çok farklı noktasında bir şeyler ters gitmiş olabilir. O kanaldaki kişilerin asıl işi, doğru samanlıkta doğru iğneyi bulmaktır,” diyor. “Ultra Hızlı sayesinde tüm bu samanlıkları aynı anda tarayabiliyor ve olaylara çok daha hızlı müdahale edebiliyorum.”

Teknik ekip üyesi ve veri merkezi güvenlik mimarı AJ Trbojevic, güvenlik sorunlarını incelerken yapılandırılmış ve yapılandırılmamış verileri bir araya getirmenin, standartlaştırmanın ve karar vermek için gereken bağlamı sağlamanın eskiden bir iki saat sürdüğünü söylüyor. “Artık bu, 10 ila 15 dakikada oluyor,” diyor. “Hatta bazen neredeyse gerçek zamanlı gerçekleşiyor.”

Adam Perry ve Sayan Sisodiya, temel ajan ekibinde çalışıyor; Codex’in eyleme geçmesini, komut çalıştırmasını ve araç kullanmasını sağlayan kodu geliştiriyorlar. Ultra Hızlı, güvenlik olayları sırasında çalışma biçimlerini değiştirdi. Adam, “Eskiden Codex’ten bir konuyu araştırmasını ister, aynı anda kendim de araştırmaya başlardım. Çünkü sadece onun yanıtını bekleyemeyeceğimi, yeterince hızlı olmayacağını bilirdim,” diyor. “Artık Ultra Hızlı ile Codex yeterince hızlı. Dikkatimi bölmek yerine yaptığım işe odaklanabiliyorum.”

Sayan, Ultra Hızlı sayesinde birden fazla veri kaynağından anında yanıt alabilmekten memnun: “Bir olay sırasında yalnızca günlük kayıtlarını taramakla kalmıyorum. Şüpheli olabilecek değişikliklerden söz edilmiş mi ya da Slack’in başka yerlerinde benzer belirtileri konuşanlar var mı diye Codex ile Slack’i de tarıyorum,” diyor.

Teknik ekipten Jeff Niu, yapay zekâ ile yanıt bulmak 30 saniyeden uzun sürdüğünde Slack’e baktığını ya da bir iş arkadaşıyla sohbet ettiğini söylüyor. Ancak Ultra Hızlı ile artık işlerinin çoğunda bu sürenin altında yanıt alıyor. Eskiden Codex’e bir soru sorar, o düşünürken başka bir işe geçerdi. Geri döndüğünde ise ne düşündüğünü unuturdu. Artık bu konuşma gerçek zamanlı ilerliyor; bu da elindeki işe odaklanmasına yardımcı oluyor.

Ultra Hızlı, mevcut kodu yeniden düzenlemek için gereken süreyi kısalttığından, Jeff artık büyük çaplı kod düzenlemelerine de daha istekli yaklaşıyor. “Teknik borcu azaltmak artık hiç olmadığı kadar kolay,” diyor. “Kod yazmanın maliyeti düşük, artık yazması da çok hızlı. Eskiden çok maliyetli olan bir kod düzenlemesi neredeyse anında yapılıyor.”

Adam, “özel kalemim” dediği bir Codex sohbetini sürekli açık tutuyor. Codex her sabah ona hangi toplantıları olduğunu ve hangi mesajları yanıtlamayı unutmuş olabileceğini söylüyor. “O özeti yazmak için zaten tüm verileri incelemiş oluyor. Bu yüzden devamında bir soru sorduğumda daha fazla veri getirmek için beklemiyor,” diyor. “Gerçek bir özel kalemle konuşur gibi, aynı sohbette sorular sormaya devam edebiliyorum.”

Sayan, form doldurmak gibi tarayıcıda elle yapılan sıkıcı işler için Codex’i kullanıyor. Eskiden çok yavaş olduğu için bu işleri Codex’e yaptırmaktan kaçınıyordu. “Tarayıcıyı açıyor, beş saniye düşünüyor, bir şeye tıklıyor, sonra yine bekliyordu,” diyor. En yeni modellerin bilgisayar kullanımındaki gelişmeler sayesinde bu işleri Codex’e daha rahat bırakabiliyor. “Artık tarayıcıdaki tıklamaları ona gönül rahatlığıyla bırakıyorum. Yeterince hızlı olduğu için işi kendim yapmayarak zaman kaybetmiş olmuyorum.”

Olay müdahalesinden günlük planlamaya ve kod düzenlemeye kadar Ultra Hızlı, OpenAI’ın teknik ekibine Codex ile sorularını sordukları hızda çalışma imkânı sunuyor. Aldıkları yanıt üzerine yeni sorular sorabiliyor, başka bir yaklaşım deneyebiliyor ve düşünce akışları kesilmeden çalışmaya devam edebiliyorlar. Bekleme süresinin kısalması, üstlenmeye istekli oldukları işleri de değiştiriyor: Erteledikleri bir kod düzenlemesinden, sonunda devretmeye değer hâle gelen rutin bir göreve kadar.