Sådan skar Ultrafast undersøgelsen af hændelser fra timer til minutter hos OpenAI

Dette er en del af vores serie med interne eksempler på, hvordan OpenAI bruger sin egen teknologi og sine egne API'er. Værktøjerne bruges internt hos OpenAI og vises her som eksempler på, hvordan banebrydende AI understøtter arbejdet på tværs af vores teams.

Ultrafast er en højhastighedstilstand i Codex, og for ingeniørerne hos OpenAI er den blevet standardvalget til håndtering af hændelser. Når noget går galt, har ingeniørerne ofte ikke tid til at vente flere minutter på et svar, mens problemet vokser. Med Ultrafast kan de undersøge flere mulige årsager på én gang og få svar uden at skulle dele deres opmærksomhed.

Aaron Friel, teknisk medarbejder hos OpenAI, er som regel den, der leder indsatsen ved en hændelse. Han opretter en Slack-kanal til håndtering af hændelsen og sætter så Codex på sagen med besked om at overvåge, undersøge og besvare spørgsmål, efterhånden som de kommer ind. »Ved enhver hændelse er der som regel mange led i kæden, hvor noget kan være gået galt, og at finde den rigtige nål i den rigtige høstak er faktisk hovedopgaven for dem, der er med i kanalen,« siger han. »Med Ultrafast kan jeg i praksis søge i alle de høstakke på samme tid og reagere på hændelser meget hurtigere.«

AJ Trbojevic, teknisk medarbejder og sikkerhedsarkitekt for datacentre, fortæller, at det ved undersøgelser af sikkerhedsproblemer før tog en time eller to at samle strukturerede og ustrukturerede data, normalisere dem og sætte dem i kontekst, så man kunne træffe en beslutning. »Nu sker det på 10 til 15 minutter,« siger han. »Og nogle gange næsten i realtid.«

Adam Perry og Sayan Sisodiya arbejder begge i teamet bag agentens kernefunktioner. De udvikler den kode, der gør det muligt for Codex at udføre handlinger, køre kommandoer og bruge værktøjer. Ultrafast har ændret deres måde at arbejde på under sikkerhedshændelser. »Før bad jeg Codex om at undersøge noget og gik så selv i gang med at undersøge det samtidig, fordi jeg vidste, at det ikke ville gå hurtigt nok til, at jeg bare kunne vente,« siger Adam. »Nu er Codex med Ultrafast hurtig nok til, at jeg kan holde fokus i stedet for at dele min opmærksomhed.«

Sayan sætter pris på, at Ultrafast giver ham øjeblikkelige svar fra flere datakilder: »Ud over at gennemgå logfiler under en hændelse bruger jeg Codex til at søge i Slack efter omtale af ændringer, der kan være mistænkelige, eller folk, der taler om lignende symptomer andre steder i Slack,« siger han.

Jeff Niu, der også er teknisk medarbejder, fortæller, at han tjekker Slack eller snakker med en kollega, hvis det tager mere end 30 sekunder at finde et svar med AI. Men med Ultrafast får han nu svar inden for den grænse i det meste af sit arbejde. Før stillede han Codex et spørgsmål, skiftede til noget andet, mens den tænkte, og havde så tabt tråden, når han vendte tilbage. Nu foregår samtalen i realtid, og det hjælper ham med at holde fokus på den aktuelle opgave.

Ultrafast giver også Jeff mere mod på større refaktoreringer, fordi det tager kortere tid at omarbejde eksisterende kode. »Det er langt lettere at nedbringe teknisk gæld nu end nogensinde før,« siger han. »Kode er billigt, og nu er det også meget hurtigt at producere. En refaktorering, der før krævede mange ressourcer, sker næsten øjeblikkeligt.«

Adam har en løbende samtaletråd med Codex, som han kalder sin stabschef. Hver morgen fortæller den ham, hvilke møder han har, og hvilke beskeder han måske har glemt at svare på. »Den har allerede gennemgået alle data for at skrive den oversigt, så når jeg stiller et opfølgende spørgsmål, skal den ikke først hente flere,« siger han. »Jeg kan bare blive ved med at stille spørgsmål i den samme samtale, præcis som med en rigtig stabschef.«

Sayan bruger Codex til trivielt manuelt arbejde i browseren, som at udfylde formularer – noget, han tidligere undlod at bruge den til, fordi det gik for langsomt. »Den åbnede en browser, sad og tænkte i fem sekunder, klikkede på noget og sad så stille igen,« siger han. De nyeste modeller er blevet bedre til at betjene computere, så han er mere tryg ved at lade Codex klare det arbejde. »Nu lader jeg den gerne klikke sig gennem browseren, og det går hurtigt nok til, at jeg ikke mister tid ved at lade den gøre det i stedet for mig.«

Uanset om det gælder håndtering af hændelser, daglig planlægning eller refaktorering, lader Ultrafast OpenAI's tekniske medarbejdere arbejde med Codex i et tempo, der følger deres spørgsmål. De kan følge op på et svar, prøve en anden tilgang og arbejde videre uden at tabe tråden. Den kortere ventetid ændrer også, hvilke opgaver de giver sig i kast med – fra en refaktorering, de har udskudt, til en rutineopgave, som det endelig kan betale sig at uddelegere.