Como o Ultrafast reduziu de horas para minutos a investigação de incidentes na OpenAI

Este conteúdo faz parte da nossa série de exemplos internos de como a OpenAI usa sua própria tecnologia e suas APIs. Essas ferramentas são usadas internamente na OpenAI e apresentadas aqui para ilustrar como a IA de ponta apoia diferentes casos de uso nas nossas equipes.

Ultrafast é um modo de alta velocidade do Codex que se tornou o padrão para resposta a incidentes entre os engenheiros da OpenAI. Quando algo dá errado, os engenheiros muitas vezes não têm tempo de esperar minutos por uma resposta enquanto o problema se agrava. Com o Ultrafast, eles podem investigar várias causas possíveis ao mesmo tempo e obter respostas sem dividir a atenção.

Aaron Friel, membro da equipe técnica da OpenAI, costuma liderar a resposta a incidentes. Ele cria um canal no Slack para responder ao incidente e direciona o Codex para o problema, pedindo que monitore, investigue e responda às perguntas conforme surgirem. "Em qualquer incidente, geralmente há várias etapas em que algo pode ter dado errado, e encontrar a agulha certa no palheiro certo é a principal tarefa de quem está naquele canal", diz ele. "Com o Ultrafast, consigo basicamente vasculhar todos esses palheiros ao mesmo tempo e responder aos incidentes muito mais rápido."

AJ Trbojevic, membro da equipe técnica e arquiteto de segurança de data centers, conta que, nas investigações de problemas de segurança, antes era preciso uma ou duas horas para reunir dados estruturados e não estruturados, normalizá-los e obter o contexto necessário para tomar uma decisão. "Agora isso acontece em 10 a 15 minutos", diz ele. "E às vezes é quase em tempo real."

Adam Perry e Sayan Sisodiya trabalham na equipe responsável pelo núcleo do agente, desenvolvendo o código que permite ao Codex realizar ações, executar comandos e usar ferramentas. O Ultrafast mudou a forma como eles atuam durante incidentes de segurança. "Antes, eu pedia ao Codex para investigar algo e também investigava por conta própria ao mesmo tempo, porque sabia que ele não seria rápido o bastante para eu ficar só esperando", diz Adam. "Agora, com o Ultrafast, o Codex é rápido o bastante para eu manter o foco em vez de dividir a atenção."

Sayan valoriza a possibilidade de obter respostas imediatas de várias fontes de dados com o Ultrafast: "Além de vasculhar logs durante um incidente, uso o Codex para pesquisar no Slack e ver se há referências a mudanças suspeitas ou pessoas falando de sintomas semelhantes em outros canais", diz ele.

Jeff Niu, outro membro da equipe técnica, diz que, se levar mais de 30 segundos para encontrar uma resposta com IA, ele acaba indo conferir o Slack ou conversar com um colega. Mas, com o Ultrafast, a maior parte do trabalho dele agora fica abaixo desse limite. Antes, ele fazia uma pergunta ao Codex, ia fazer outra coisa enquanto o modelo pensava e, quando voltava, já tinha perdido o fio do raciocínio. Agora a conversa acontece em tempo real, o que o ajuda a manter o foco na tarefa em andamento.

O Ultrafast também deixa Jeff mais disposto a encarar grandes refatorações, porque retrabalhar o código existente leva menos tempo. "Reduzir a dívida técnica ficou muito mais fácil do que antes", diz ele. "Produzir código é barato e agora também é muito rápido. Uma refatoração que antes custava muito acontece quase instantaneamente."

Adam mantém uma conversa contínua com o Codex que chama de seu chefe de gabinete. Toda manhã, o Codex informa quais reuniões ele tem e quais mensagens talvez tenha esquecido de responder. "Ele já analisou todos os dados para escrever aquele resumo, então, quando faço uma pergunta complementar, não preciso esperar que ele busque mais informações", diz ele. "Posso continuar fazendo perguntas na mesma conversa, como faria com um chefe de gabinete de verdade."

Sayan usa o Codex para realizar tarefas manuais tediosas no navegador, como preencher formulários — algo que antes evitava por ser lento demais. "Ele abria um navegador, ficava pensando por cinco segundos, clicava em alguma coisa e parava de novo", diz ele. Com as melhorias dos modelos mais recentes no uso do computador, ele se sente mais à vontade para deixar esse trabalho com o Codex. "Agora fico totalmente à vontade para deixar que ele faça os cliques no navegador, e ele é rápido o bastante para eu não perder tempo por não fazer isso por conta própria."

Da resposta a incidentes ao planejamento diário e à refatoração, o Ultrafast permite que a equipe técnica da OpenAI trabalhe com o Codex no ritmo em que as perguntas surgem. Eles podem aprofundar uma resposta, tentar outra abordagem e continuar trabalhando sem perder o fio do raciocínio. Essa espera menor também muda o que eles se dispõem a fazer, desde uma refatoração que vinham adiando até uma tarefa rotineira que finalmente vale a pena delegar.