Hoe Ultrafast incidentonderzoek bij OpenAI terugbracht van uren naar minuten

Dit artikel maakt deel uit van onze reeks interne voorbeelden van hoe OpenAI zijn eigen technologie en API's gebruikt. Deze tools worden intern bij OpenAI ingezet. We delen ze hier om te laten zien hoe grensverleggende AI onze teams bij uiteenlopende toepassingen ondersteunt.

Ultrafast is een razendsnelle modus in Codex en is voor engineers bij OpenAI de standaard geworden bij het afhandelen van incidenten. Als er iets misgaat, hebben engineers vaak geen tijd om minutenlang op een antwoord te wachten terwijl het probleem verergert. Met Ultrafast kunnen ze meerdere mogelijke oorzaken tegelijk onderzoeken en antwoorden krijgen zonder hun aandacht te hoeven verdelen.

Aaron Friel, lid van het technische team bij OpenAI, neemt bij een incident meestal de leiding. Hij maakt een Slack-kanaal aan voor de afhandeling van het incident en zet Codex vervolgens op het probleem. Hij vraagt Codex om de situatie te volgen, onderzoek te doen en vragen te beantwoorden zodra die binnenkomen. "Bij een incident zijn er meestal allerlei schakels in de keten waar iets mis kan zijn gegaan. De juiste speld in de juiste hooiberg vinden is dan ook de belangrijkste taak van de mensen in dat kanaal", zegt hij. "Met Ultrafast kan ik in feite al die hooibergen tegelijk doorzoeken en veel sneller op incidenten reageren."

AJ Trbojevic, lid van het technische team en beveiligingsarchitect voor datacenters, vertelt dat het bij onderzoek naar beveiligingsproblemen vroeger een tot twee uur kostte om gestructureerde en ongestructureerde data samen te brengen, te normaliseren en van context te voorzien om een beslissing te kunnen nemen. "Nu gebeurt dat in 10 tot 15 minuten", zegt hij. "En soms zelfs vrijwel in realtime."

Adam Perry en Sayan Sisodiya werken allebei in het team dat de kern van de agent ontwikkelt. Ze schrijven de code waarmee Codex acties kan uitvoeren, opdrachten kan uitvoeren en tools kan gebruiken. Ultrafast heeft hun manier van werken bij beveiligingsincidenten veranderd. "Vroeger vroeg ik Codex om iets uit te zoeken en ging ik er tegelijkertijd zelf naar kijken, omdat ik wist dat het te lang zou duren om op het antwoord te wachten", zegt Adam. "Met Ultrafast is Codex nu snel genoeg om gewoon mijn aandacht erbij te houden, in plaats van die te moeten verdelen."

Sayan vindt het prettig dat Ultrafast hem direct antwoorden uit meerdere databronnen geeft: "Bij een incident gebruik ik Codex niet alleen om logs door te spitten, maar ook om Slack te doorzoeken. Zo kan ik zien of er mogelijk verdachte wijzigingen worden genoemd, of dat mensen elders in Slack soortgelijke symptomen bespreken", zegt hij.

Jeff Niu, ook lid van het technische team, vertelt dat hij Slack bekijkt of met een collega praat als het langer dan 30 seconden duurt om met AI een antwoord te vinden. Maar met Ultrafast krijgt hij bij het meeste werk nu binnen die tijd antwoord. Vroeger stelde hij Codex een vraag, ging hij iets anders doen terwijl het nadacht en was hij bij terugkomst de draad kwijt. Nu verloopt dat gesprek in realtime, waardoor hij zich beter op zijn taak kan blijven richten.

Dankzij Ultrafast pakt Jeff ook sneller grote refactorings aan, omdat het herstructureren van bestaande code minder tijd kost. "Technische schuld wegwerken is nu veel makkelijker dan ooit tevoren", zegt hij. "Code is goedkoop en is nu ook heel snel te produceren. Een refactoring die vroeger veel kostte, is nu vrijwel direct klaar."

Adam houdt een doorlopend gesprek met Codex bij dat hij zijn stafchef noemt. Elke ochtend vertelt Codex hem welke vergaderingen hij heeft en op welke berichten hij mogelijk nog niet heeft gereageerd. "Voor die samenvatting heeft Codex alle data al bekeken. Als ik een vervolgvraag stel, hoeft het dus niet eerst meer informatie op te halen", zegt hij. "Ik kan in hetzelfde gesprek gewoon blijven doorvragen, net als bij een echte stafchef."

Sayan gebruikt Codex voor vervelend handmatig werk in de browser, zoals formulieren invullen. Eerder liet hij dat niet aan Codex over, omdat het te traag ging. "Het opende een browser, dacht vijf seconden na, klikte ergens op en wachtte dan weer", zegt hij. Nu de nieuwste modellen beter met computers overweg kunnen, laat hij dat werk met meer vertrouwen aan Codex over. "Nu vind ik het prima om Codex door de browser te laten klikken. Het is snel genoeg dat het me geen extra tijd kost als ik het niet zelf doe."

Of het nu gaat om incidentafhandeling, dagelijkse planning of refactoring: dankzij Ultrafast kan het technische team van OpenAI met Codex werken in het tempo waarin de vragen opkomen. Ze kunnen doorvragen op een antwoord, een andere aanpak proberen en doorwerken zonder de draad kwijt te raken. Door die kortere wachttijd pakken ze ook werk op dat anders bleef liggen: van een uitgestelde refactoring tot een routineklus die nu eindelijk de moeite waard is om uit te besteden.