Come Ultrafast ha ridotto da ore a minuti l’analisi degli incidenti in OpenAI

Questo articolo fa parte della serie in cui raccontiamo come OpenAI usa internamente la propria tecnologia e le proprie API. Gli strumenti presentati sono in uso all’interno di OpenAI e mostrano come l’IA di frontiera supporta diversi casi d’uso nei nostri team.

Ultrafast è una modalità ad alta velocità di Codex ed è diventata la scelta predefinita degli ingegneri di OpenAI per la risposta agli incidenti. Quando qualcosa smette di funzionare, spesso gli ingegneri non hanno il tempo di aspettare minuti per una risposta mentre il problema si aggrava. Con Ultrafast possono indagare su più cause potenziali contemporaneamente e ottenere risposte senza disperdere l’attenzione.

Aaron Friel, membro del team tecnico di OpenAI, è di solito la persona che coordina la gestione di un incidente. Crea un canale Slack dedicato alla risposta all’incidente, poi sottopone il problema a Codex, chiedendogli di monitorare la situazione, indagare e rispondere alle domande man mano che arrivano. “In qualsiasi incidente, di solito ci sono molti passaggi in cui qualcosa potrebbe essere andato storto. Trovare l’ago giusto nel pagliaio giusto è il compito principale delle persone in quel canale”, spiega. “Con Ultrafast riesco in pratica a cercare in tutti quei pagliai contemporaneamente e a rispondere agli incidenti molto più in fretta.”

AJ Trbojevic, membro del team tecnico e architetto della sicurezza dei data center, racconta che, durante le indagini sui problemi di sicurezza, prima servivano una o due ore per riunire dati strutturati e non strutturati, normalizzarli e fornire il contesto necessario a prendere una decisione. “Ora bastano 10-15 minuti”, spiega. “E a volte avviene quasi in tempo reale.”

Adam Perry e Sayan Sisodiya lavorano entrambi nel team che sviluppa le funzionalità di base dell’agente e scrivono il codice che consente a Codex di compiere azioni, eseguire comandi e usare strumenti. Ultrafast ha cambiato il loro modo di lavorare durante gli incidenti di sicurezza. “Prima chiedevo a Codex di indagare su qualcosa e nel frattempo mi mettevo a farlo anch’io, perché sapevo che non sarebbe stato abbastanza veloce da potermi limitare ad aspettare”, racconta Adam. “Ora, con Ultrafast, Codex è abbastanza veloce da permettermi di restare concentrato, invece di dividere l’attenzione tra più cose.”

Sayan apprezza la possibilità di ottenere con Ultrafast risposte immediate da più fonti di dati: “Durante un incidente, oltre a passare al setaccio i log, uso Codex per cercare in Slack riferimenti a modifiche sospette o persone che parlano di sintomi simili in altri canali”, spiega.

Jeff Niu, un altro membro del team tecnico, racconta che, se per trovare una risposta con l’IA servono più di 30 secondi, finisce per controllare Slack o parlare con un collega. Con Ultrafast, però, la maggior parte delle sue attività richiede ormai meno di 30 secondi di attesa. Prima faceva una domanda a Codex, passava ad altro mentre il modello ragionava e, quando tornava, aveva perso il filo. Ora la conversazione avviene in tempo reale e lo aiuta a rimanere concentrato su ciò che sta facendo.

Con Ultrafast, Jeff è anche più propenso ad affrontare interventi di refactoring estesi, perché rielaborare il codice esistente richiede meno tempo. “Ridurre il debito tecnico è molto più facile ora di quanto lo sia mai stato”, spiega. “Il codice costa poco e ora si produce molto rapidamente. Un intervento di refactoring che prima era molto oneroso avviene quasi all’istante.”

Adam mantiene una conversazione continuativa con Codex che chiama il suo capo dello staff. Ogni mattina gli indica quali riunioni ha in programma e a quali messaggi potrebbe essersi dimenticato di rispondere. “Ha già esaminato tutti i dati per scrivere quel riepilogo, quindi, quando faccio una domanda di approfondimento, non deve mettersi a cercarne altri”, spiega. “Posso continuare a fare domande nella stessa conversazione, proprio come farei con un vero capo dello staff.”

Sayan usa Codex per svolgere attività manuali noiose nel browser, come compilare moduli: prima evitava di delegarle perché Codex era troppo lento. “Apriva un browser, restava lì a ragionare per cinque secondi, cliccava su qualcosa e poi si fermava di nuovo”, racconta. Grazie ai progressi degli ultimi modelli nell’uso del computer, ora si sente più a suo agio ad affidare queste attività a Codex. “Ora lascio tranquillamente che faccia clic e navighi nel browser: è abbastanza veloce da non farmi perdere tempo rispetto a farlo da solo.”

Dalla risposta agli incidenti alla pianificazione quotidiana, fino al refactoring, Ultrafast permette al team tecnico di OpenAI di lavorare con un Codex che tiene il passo con le sue domande. I membri del team possono approfondire una risposta, provare un altro approccio e continuare a lavorare senza perdere il filo. Attese più brevi cambiano anche le attività che sono disposti ad affrontare: dal refactoring rimandato a un compito di routine che finalmente vale la pena delegare.