Como o Ultrafast reduziu de horas para minutos a investigação de incidentes na OpenAI

Este artigo faz parte da nossa série de exemplos internos de como a OpenAI utiliza a sua própria tecnologia e APIs. Estas ferramentas são utilizadas internamente na OpenAI e apresentadas aqui para ilustrar como a IA de fronteira está a apoiar diferentes casos de utilização nas nossas equipas.

O Ultrafast é um modo de alta velocidade do Codex e tornou-se a opção habitual dos engenheiros da OpenAI para responder a incidentes. Quando algo falha, os engenheiros muitas vezes não podem esperar vários minutos por uma resposta enquanto o problema se agrava. Com o Ultrafast, podem investigar várias causas possíveis em simultâneo e obter respostas sem dispersar a atenção.

Aaron Friel, membro da equipa técnica da OpenAI, é normalmente quem coordena a resposta a um incidente. Cria um canal no Slack para responder ao incidente e, em seguida, põe o Codex a trabalhar no problema, pedindo-lhe que acompanhe a situação, investigue e responda às perguntas à medida que surgem. «Em qualquer incidente, há normalmente vários pontos ao longo do processo em que algo pode ter corrido mal, e encontrar a agulha certa no palheiro certo é, de facto, a principal tarefa das pessoas nesse canal», explica. «Com o Ultrafast, consigo, no fundo, procurar em todos esses palheiros ao mesmo tempo e responder aos incidentes muito mais depressa.»

AJ Trbojevic, membro da equipa técnica e arquiteto de segurança de centros de dados, diz que, nas investigações de problemas de segurança, era preciso uma ou duas horas para reunir dados estruturados e não estruturados, normalizá-los e obter o contexto necessário para tomar uma decisão. «Agora, isso acontece em 10 a 15 minutos», afirma. «E, por vezes, quase em tempo real.»

Adam Perry e Sayan Sisodiya trabalham na equipa responsável pelo núcleo do agente, desenvolvendo o código que permite ao Codex realizar ações, executar comandos e utilizar ferramentas. O Ultrafast mudou a forma como trabalham durante os incidentes de segurança. «Antes, pedia ao Codex para investigar alguma coisa e, ao mesmo tempo, ia investigá-la eu próprio, porque sabia que não seria suficientemente rápido para valer a pena ficar só à espera», diz Adam. «Agora, com o Ultrafast, o Codex é suficientemente rápido para eu me manter concentrado, em vez de dividir a atenção.»

Sayan valoriza a forma como o Ultrafast lhe permite obter respostas imediatas a partir de várias fontes de dados: «Além de analisar os registos durante um incidente, uso o Codex para pesquisar no Slack e ver se há referências a alterações suspeitas ou pessoas a falar de sintomas semelhantes noutros canais», explica.

Jeff Niu, também membro da equipa técnica, diz que, se demorar mais de 30 segundos a encontrar uma resposta com IA, vai consultar o Slack ou conversar com um colega. Mas, com o Ultrafast, a maior parte do seu trabalho já fica abaixo desse limite. Antes, fazia uma pergunta ao Codex, passava para outra tarefa enquanto este pensava e, quando voltava, já tinha perdido o fio ao raciocínio. Agora, a conversa acontece em tempo real, o que o ajuda a manter-se concentrado na tarefa em curso.

O Ultrafast também dá a Jeff mais vontade de avançar com grandes refatorizações, porque reformular o código existente demora menos tempo. «Agora é muito mais fácil reduzir a dívida técnica do que alguma vez foi», afirma. «O código é barato e agora é muito rápido de produzir. Uma refatorização que antes custava muito é feita quase instantaneamente.»

Adam mantém uma conversa contínua com o Codex, a que chama o seu chefe de gabinete. Todas as manhãs, o Codex diz-lhe que reuniões tem e a que mensagens se poderá ter esquecido de responder. «Já analisou todos os dados para escrever esse resumo, por isso, quando faço uma pergunta de seguimento, não precisa de ir buscar mais informação», explica. «Posso continuar a fazer perguntas na mesma conversa, como se estivesse a falar com um verdadeiro chefe de gabinete.»

Sayan utiliza o Codex para realizar tarefas manuais monótonas no navegador, como preencher formulários — algo que antes evitava por ser demasiado lento. «Abria um navegador, ficava cinco segundos a pensar, clicava em alguma coisa e voltava a ficar parado», conta. Com as melhorias dos modelos mais recentes na utilização do computador, sente-se mais à vontade para deixar esse trabalho a cargo do Codex. «Agora não tenho qualquer problema em deixá-lo clicar e navegar no navegador. É suficientemente rápido para eu não perder tempo por não ser eu a fazê-lo.»

Da resposta a incidentes ao planeamento diário e à refatorização, o Ultrafast permite à equipa técnica da OpenAI trabalhar com o Codex ao ritmo das suas perguntas. Podem aprofundar uma resposta, experimentar outra abordagem e continuar a trabalhar sem perder o fio ao raciocínio. Essa espera mais curta também muda o tipo de tarefas que estão dispostos a assumir, desde uma refatorização que vinham a adiar até uma tarefa de rotina que finalmente compensa delegar.