Så kortade Ultrafast OpenAI:s incidentutredningar från timmar till minuter

Det här är en del av vår serie med interna exempel på hur OpenAI använder sin egen teknik och sina egna API:er. Verktygen används internt på OpenAI och presenteras här för att illustrera hur banbrytande AI stöder olika användningsområden i våra team.

Ultrafast är ett höghastighetsläge i Codex, och för ingenjörerna på OpenAI har det blivit förstahandsvalet vid incidenthantering. När något slutar fungera har ingenjörerna ofta inte tid att vänta i flera minuter på ett svar medan problemet förvärras. Med Ultrafast kan de undersöka flera möjliga orsaker samtidigt och få svar utan att behöva dela sin uppmärksamhet mellan olika uppgifter.

Aaron Friel, medarbetare i OpenAI:s tekniska team, är oftast den som leder arbetet vid en incident. Han skapar en Slack-kanal för incidenthanteringen och låter sedan Codex ta sig an problemet, med uppdraget att övervaka, undersöka och besvara frågor allteftersom de kommer in. ”Vid en incident finns det oftast många led där något kan ha gått fel. Att hitta rätt nål i rätt höstack är egentligen huvuduppgiften för dem som är med i kanalen”, säger han. ”Med Ultrafast kan jag i princip söka igenom alla de där höstackarna samtidigt och hantera incidenter mycket snabbare.”

AJ Trbojevic, medarbetare i det tekniska teamet och säkerhetsarkitekt för datacenter, berättar att det vid utredningar av säkerhetsproblem tidigare tog en eller två timmar att samla in strukturerade och ostrukturerade data, normalisera dem och sätta dem i sitt sammanhang som underlag för beslut. ”Nu tar det 10 till 15 minuter”, säger han. ”Och ibland sker det nästan i realtid.”

Adam Perry och Sayan Sisodiya arbetar båda i teamet för agentens kärnfunktioner och utvecklar koden som gör att Codex kan utföra åtgärder, köra kommandon och använda verktyg. Ultrafast har förändrat hur de arbetar vid säkerhetsincidenter. ”Tidigare bad jag Codex att undersöka något och började sedan undersöka det själv samtidigt, eftersom jag visste att det inte skulle gå tillräckligt snabbt för att bara vänta på svaret”, säger Adam. ”Nu med Ultrafast är Codex tillräckligt snabbt för att jag ska kunna behålla fokus i stället för att dela uppmärksamheten mellan olika saker.”

Sayan uppskattar att Ultrafast ger honom omedelbara svar från flera datakällor: ”Utöver att söka igenom loggar vid en incident använder jag Codex för att leta i Slack efter hänvisningar till ändringar som kan ligga bakom problemet, eller efter andra som pratar om liknande symtom i andra Slack-kanaler”, säger han.

Jeff Niu, som också arbetar i det tekniska teamet, säger att om det tar mer än 30 sekunder att hitta ett svar med AI börjar han kolla Slack eller prata med en kollega. Men med Ultrafast ligger väntetiden nu under den gränsen för det mesta i hans arbete. Tidigare brukade han ställa en fråga till Codex, växla till något annat medan det tänkte och sedan återvända efter att ha tappat tråden. Nu sker samtalet i realtid, vilket hjälper honom att hålla fokus på uppgiften.

Ultrafast gör också Jeff mer benägen att ta sig an större refaktoreringar, eftersom det tar mindre tid att omarbeta befintlig kod. ”Det är mycket lättare att minska den tekniska skulden nu än någonsin tidigare”, säger han. ”Kod är billigt, och nu går det väldigt snabbt att ta fram den. En refaktorering som tidigare kostade mycket blir klar nästan direkt.”

Adam har en löpande konversation med Codex som han kallar sin stabschef. Varje morgon berättar den vilka möten han har och vilka meddelanden han kan ha glömt att svara på. ”Den har redan gått igenom alla data för att skriva sammanfattningen, så när jag ställer en följdfråga behöver den inte lägga tid på att hämta mer”, säger han. ”Jag kan bara fortsätta ställa frågor i samma konversation, precis som med en riktig stabschef.”

Sayan använder Codex för tråkigt manuellt arbete i webbläsaren, som att fylla i formulär – något han tidigare undvek att använda det till eftersom det gick för långsamt. ”Det öppnade en webbläsare, tänkte i fem sekunder, klickade på något och stannade upp igen”, säger han. De senaste modellerna har blivit bättre på att använda datorer, så han känner sig tryggare med att låta Codex sköta det arbetet. ”Nu låter jag det gärna klicka sig fram i webbläsaren. Det är tillräckligt snabbt för att jag inte ska förlora tid på att inte göra det själv.”

Oavsett om det gäller incidenthantering, daglig planering eller refaktorering låter Ultrafast OpenAI:s tekniska medarbetare arbeta med Codex i samma takt som frågorna dyker upp. De kan följa upp ett svar, prova ett annat angreppssätt och arbeta vidare utan att tappa tråden. Den kortare väntetiden förändrar också vad de är beredda att ta sig an, från en uppskjuten refaktorering till en rutinuppgift som det äntligen lönar sig att delegera.