Slik kuttet Ultrafast undersøkelsestiden for hendelser fra timer til minutter hos OpenAI

Dette er en del av serien vår med interne eksempler på hvordan OpenAI bruker sin egen teknologi og sine egne API-er. Disse verktøyene brukes internt i OpenAI og vises her som eksempler på hvordan banebrytende KI støtter ulike bruksområder på tvers av teamene våre.

Ultrafast er en høyhastighetsmodus i Codex, og for ingeniørene hos OpenAI har den blitt standardvalget for hendelseshåndtering. Når noe svikter, har ingeniørene ofte ikke tid til å vente i flere minutter på et svar mens problemet vokser. Med Ultrafast kan de undersøke flere mulige årsaker samtidig og få svar uten å måtte dele oppmerksomheten mellom flere ting.

Aaron Friel, teknisk medarbeider hos OpenAI, er vanligvis den som leder arbeidet når en hendelse oppstår. Han oppretter en Slack-kanal for hendelseshåndtering og setter deretter Codex på saken, med beskjed om å overvåke, undersøke og svare på spørsmål etter hvert som de kommer inn. «I enhver hendelse er det vanligvis mange ledd der noe kan ha gått galt. Å finne den rette nåla i den rette høystakken er egentlig hovedoppgaven til folkene i den kanalen», sier han. «Med Ultrafast kan jeg i praksis lete i alle disse høystakkene samtidig og håndtere hendelser mye raskere.»

AJ Trbojevic, teknisk medarbeider og sikkerhetsarkitekt for datasentre, forteller at det under undersøkelser av sikkerhetsproblemer tidligere tok en time eller to å samle og normalisere strukturerte og ustrukturerte data og sette dem i sammenheng for å kunne ta en beslutning. «Nå skjer det på 10 til 15 minutter», sier han. «Og noen ganger skjer det nesten i sanntid.»

Adam Perry og Sayan Sisodiya jobber begge i teamet for agentens kjernefunksjoner. De utvikler koden som lar Codex utføre handlinger, kjøre kommandoer og bruke verktøy. Ultrafast har endret måten de jobber på under sikkerhetshendelser. «Før ba jeg Codex undersøke noe, og så undersøkte jeg det selv samtidig, fordi jeg visste at det ikke ville gå raskt nok til at jeg bare kunne vente», sier Adam. «Nå med Ultrafast er Codex rask nok til at jeg kan holde fokus i stedet for å dele oppmerksomheten mellom flere ting.»

Sayan setter pris på at Ultrafast gir ham umiddelbare svar fra flere datakilder: «I tillegg til å grave i logger under en hendelse bruker jeg Codex til å lete i Slack etter omtale av endringer som kan være mistenkelige, eller folk som snakker om lignende symptomer andre steder i Slack», sier han.

Jeff Niu, en annen teknisk medarbeider, forteller at hvis det tar mer enn 30 sekunder å finne et svar med KI, sjekker han Slack eller slår av en prat med en kollega. Men med Ultrafast er ventetiden nå under den grensen for det meste av arbeidet hans. Før stilte han Codex et spørsmål, byttet til noe annet mens den tenkte, og hadde mistet tråden når han kom tilbake. Nå foregår samtalen i sanntid, noe som hjelper ham å holde fokus på oppgaven.

Ultrafast gjør også at Jeff lettere går løs på større refaktoreringer, fordi det tar mindre tid å omarbeide eksisterende kode. «Det er mye lettere å betale ned teknisk gjeld nå enn noen gang før», sier han. «Kode er billig, og nå går det veldig raskt å skrive den. En refaktorering som før kostet mye, skjer nå nesten umiddelbart.»

Adam har en løpende Codex-tråd som han kaller stabssjefen sin. Hver morgen forteller den ham hvilke møter han har, og hvilke meldinger han kan ha glemt å svare på. «Den har allerede gått gjennom alle dataene for å skrive oppsummeringen, så når jeg stiller et oppfølgingsspørsmål, trenger den ikke bruke tid på å hente mer», sier han. «Jeg kan bare fortsette å stille spørsmål i den samme samtalen, akkurat som til en ekte stabssjef.»

Sayan bruker Codex til kjedelig, manuelt arbeid i nettleseren, som å fylle ut skjemaer. Tidligere unngikk han å bruke Codex til dette fordi det gikk for sakte. «Den åpnet en nettleser, satt og tenkte i fem sekunder, klikket på noe og ble sittende igjen», sier han. De nyeste modellene har blitt bedre til å bruke datamaskiner, og han er derfor mer komfortabel med å la Codex ta seg av dette arbeidet. «Nå lar jeg den gjerne klikke seg gjennom nettleseren. Det går raskt nok til at jeg ikke taper tid på å la være å gjøre det selv.»

Enten det gjelder hendelseshåndtering, daglig planlegging eller refaktorering, lar Ultrafast OpenAIs tekniske medarbeidere jobbe med Codex i samme tempo som spørsmålene dukker opp. De kan følge opp et svar, prøve en annen tilnærming og jobbe videre uten å miste tråden. Den kortere ventetiden endrer også hvilke oppgaver de er villige til å ta tak i – fra en refaktorering de har utsatt, til en rutineoppgave det endelig lønner seg å delegere.