Kako je Ultrafast pri OpenAI skrajšal preiskovanje incidentov z nekaj ur na nekaj minut

Ta prispevek je del serije, v kateri predstavljamo interne primere, kako OpenAI uporablja lastno tehnologijo in API-je. Ta orodja uporabljamo znotraj OpenAI, tukaj pa jih predstavljamo kot ponazoritev, kako prelomna umetna inteligenca podpira različne načine uporabe v naših ekipah.

Ultrafast je način hitrega delovanja v Codex in je za inženirje pri OpenAI postal privzeta izbira pri odzivanju na incidente. Ko gre kaj narobe, inženirji pogosto nimajo časa, da bi več minut čakali na odgovor, medtem ko se težava povečuje. Z načinom Ultrafast lahko hkrati preiskujejo več možnih vzrokov in dobijo odgovore, ne da bi morali svojo pozornost deliti med več stvari.

Aaron Friel, član tehnične ekipe pri OpenAI, običajno vodi odzivanje na incident. V Slacku ustvari kanal za odzivanje na incident, nato pa Codex usmeri k težavi in mu naroči, naj spremlja dogajanje, preiskuje in sproti odgovarja na vprašanja. »Pri vsakem incidentu je običajno v procesu več točk, na katerih bi lahko šlo kaj narobe. Najti pravo iglo v pravem kupu sena je pravzaprav glavna naloga ljudi na tem kanalu,« pravi. »Z načinom Ultrafast lahko v bistvu preiščem vse te kupe sena hkrati in se veliko hitreje odzovem na incidente.«

AJ Trbojevic, član tehnične ekipe in arhitekt za varnost podatkovnih centrov, pravi, da so pri preiskovanju varnostnih težav prej potrebovali uro ali dve, da so zbrali strukturirane in nestrukturirane podatke, jih poenotili ter zagotovili kontekst za odločitev. »Zdaj to opravimo v 10 do 15 minutah,« pravi. »Včasih pa skoraj v realnem času.«

Adam Perry in Sayan Sisodiya delata v ekipi za razvoj jedra agenta, kjer pišeta kodo, ki omogoča, da Codex izvaja dejanja, zaganja ukaze in uporablja orodja. Ultrafast je spremenil njun način dela med varnostnimi incidenti. »Prej sem orodju Codex naročil, naj nekaj razišče, nato pa sem istočasno začel raziskovati še sam, ker sem vedel, da ne bo dovolj hitro, da bi samo čakal nanj,« pravi Adam. »Zdaj je Codex z načinom Ultrafast dovolj hiter, da lahko ostanem osredotočen, namesto da bi svojo pozornost delil med več stvari.«

Sayan ceni, da mu Ultrafast omogoča takojšnje odgovore iz več podatkovnih virov: »Med incidentom s pomočjo orodja Codex ne brskam le po dnevnikih, temveč tudi po Slacku. Tako preverim, ali kdo omenja spremembe, ki bi lahko bile sumljive, ali pa drugje v Slacku govori o podobnih simptomih,« pravi.

Jeff Niu, prav tako član tehnične ekipe, pravi, da pogleda v Slack ali poklepeta s sodelavcem, če iskanje odgovora z umetno inteligenco traja več kot 30 sekund. Z načinom Ultrafast pa zdaj pri večini nalog dobi odgovor prej. Prej je orodju Codex zastavil vprašanje, se med njegovim razmišljanjem lotil nečesa drugega in ob vrnitvi ugotovil, da je izgubil rdečo nit. Zdaj pogovor poteka v realnem času, kar mu pomaga ostati osredotočen na trenutno nalogo.

Z načinom Ultrafast se Jeff tudi lažje odloči za obsežnejše prestrukturiranje kode, saj predelava obstoječe kode vzame manj časa. »Tehnični dolg je zdaj veliko lažje zmanjševati kot kadar koli prej,« pravi. »Koda je poceni, zdaj pa jo je mogoče tudi zelo hitro ustvariti. Prestrukturiranje, ki je prej zahtevalo veliko sredstev, je zdaj opravljeno skoraj v trenutku.«

Adam ima v orodju Codex odprt stalen pogovor, ki ga uporablja kot vodjo kabineta. Vsako jutro mu pove, kateri sestanki ga čakajo in na katera sporočila je morda pozabil odgovoriti. »Za pripravo tega povzetka je že pregledal vse podatke, zato mu ob dodatnem vprašanju ni treba iskati dodatnih informacij,« pravi. »V istem pogovoru lahko kar naprej postavljam vprašanja, tako kot bi jih pravemu vodji kabineta.«

Sayan uporablja Codex za zamudno ročno delo v brskalniku, denimo izpolnjevanje obrazcev. Prej mu takih nalog ni prepuščal, ker je bil prepočasen. »Odprl je brskalnik, pet sekund razmišljal, nekaj kliknil in spet obstal,« pravi. Ker najnovejši modeli bolje obvladajo uporabo računalnika, zdaj z več zaupanja prepušča to delo orodju Codex. »Zdaj mu brez zadržkov prepustim klikanje po brskalniku. Dovolj hiter je, da ne izgubljam časa, če tega ne opravim sam.«

Pri odzivanju na incidente, dnevnem načrtovanju in prestrukturiranju kode Ultrafast tehnični ekipi OpenAI omogoča delo z orodjem Codex, ki sledi tempu njihovih vprašanj. Na podlagi odgovora lahko zastavijo dodatna vprašanja, preizkusijo drug pristop in nadaljujejo delo, ne da bi izgubili rdečo nit. Krajše čakanje vpliva tudi na to, katerih nalog so se pripravljeni lotiti: od prestrukturiranja kode, ki so ga odlagali, do rutinske naloge, ki jo je končno smiselno prepustiti orodju.