Ako Ultrafast skrátil analýzu incidentov v OpenAI z hodín na minúty

Tento článok je súčasťou série, v ktorej prinášame interné príklady toho, ako OpenAI využíva vlastné technológie a API. Tieto nástroje používame interne v OpenAI a predstavujeme ich tu ako ukážky toho, ako prelomová AI pomáha našim tímom pri rôznych úlohách.

Ultrafast je vysokorýchlostný režim v Codex a pre inžinierov v OpenAI sa stal štandardnou voľbou pri riešení incidentov. Keď niečo prestane fungovať, inžinieri často nemajú čas čakať niekoľko minút na odpoveď, kým sa problém zhoršuje. S režimom Ultrafast môžu skúmať viacero možných príčin naraz a získavať odpovede bez toho, aby museli deliť pozornosť medzi viac úloh.

Aaron Friel, člen technického tímu OpenAI, zvyčajne koordinuje riešenie incidentov. Vytvorí v Slacku kanál na riešenie incidentu a potom zadá problém nástroju Codex s požiadavkou, aby sledoval situáciu, skúmal príčiny a priebežne odpovedal na otázky. „Pri každom incidente je zvyčajne veľa miest v reťazci, kde mohlo niečo zlyhať. Hlavnou úlohou ľudí v danom kanáli je nájsť tú správnu ihlu v správnej kope sena,“ hovorí. „Vďaka režimu Ultrafast môžem v podstate prehľadávať všetky tieto kopy sena naraz a reagovať na incidenty oveľa rýchlejšie.“

AJ Trbojevic, člen technického tímu a bezpečnostný architekt dátových centier, hovorí, že pri skúmaní bezpečnostných problémov kedysi trvalo hodinu až dve zhromaždiť štruktúrované aj neštruktúrované údaje, zjednotiť ich a doplniť kontext potrebný na rozhodnutie. „Teraz to trvá 10 až 15 minút,“ hovorí. „A niekedy to prebieha takmer v reálnom čase.“

Adam Perry a Sayan Sisodiya pracujú v tíme, ktorý vyvíja jadro agenta. Tvoria kód, vďaka ktorému môže Codex vykonávať akcie, spúšťať príkazy a používať nástroje. Ultrafast zmenil spôsob, akým pracujú počas bezpečnostných incidentov. „Predtým som požiadal Codex, aby niečo preskúmal, a súčasne som to začal skúmať aj sám. Vedel som totiž, že nebude dosť rýchly na to, aby sa oplatilo len čakať,“ hovorí Adam. „Teraz je Codex s režimom Ultrafast dosť rýchly na to, aby som mohol zostať sústredený a nemusel deliť pozornosť medzi viac vecí.“

Sayan oceňuje, že mu Ultrafast umožňuje okamžite získať odpovede z viacerých zdrojov údajov: „Pri incidente nepoužívam Codex len na prehľadávanie logov. Nechávam ho prehľadávať aj Slack, aby zistil, či sa tam nespomínajú zmeny, ktoré by mohli byť príčinou, alebo či sa inde v Slacku nehovorí o podobných prejavoch,“ vysvetľuje.

Jeff Niu, ďalší člen technického tímu, hovorí, že ak hľadanie odpovede pomocou AI trvá viac než 30 sekúnd, pozrie sa do Slacku alebo sa porozpráva s kolegom. S režimom Ultrafast sa však teraz pri väčšine úloh zmestí pod túto hranicu. Kedysi položil nástroju Codex otázku, kým premýšľal, prešiel na niečo iné, a keď sa vrátil, už stratil niť. Teraz táto konverzácia prebieha v reálnom čase, čo mu pomáha sústrediť sa na aktuálnu úlohu.

Vďaka režimu Ultrafast sa Jeff tiež ochotnejšie púšťa do rozsiahleho refaktoringu, pretože prepracovanie existujúceho kódu trvá kratšie. „Znižovať technický dlh je teraz oveľa jednoduchšie než kedykoľvek predtým,“ hovorí. „Tvorba kódu je lacná a teraz aj veľmi rýchla. Refaktoring, ktorý kedysi stál veľa, je hotový takmer okamžite.“

Adam si v Codex priebežne vedie konverzáciu, ktorú nazýva svojím šéfom kancelárie. Každé ráno mu povie, aké stretnutia ho čakajú a na ktoré správy možno zabudol odpovedať. „Pri písaní súhrnu si už prešiel všetky údaje, takže keď položím doplňujúcu otázku, nemusím čakať, kým vyhľadá ďalšie,“ hovorí. „V tej istej konverzácii sa môžem pýtať ďalej, presne ako skutočného šéfa kancelárie.“

Sayan používa Codex na zdĺhavú manuálnu prácu v prehliadači, napríklad vypĺňanie formulárov. Predtým sa tomu vyhýbal, pretože to bolo príliš pomalé. „Otvoril prehliadač, päť sekúnd premýšľal, na niečo klikol a zas čakal,“ hovorí. Keďže najnovšie modely sa zlepšili v ovládaní počítača, s väčšou dôverou prenecháva túto prácu nástroju Codex. „Teraz mu úplne pokojne nechám klikanie v prehliadači. Je dosť rýchly na to, aby som nestrácal čas tým, že to nerobím sám.“

Či už ide o riešenie incidentov, každodenné plánovanie alebo refaktoring, Ultrafast umožňuje technickému tímu OpenAI pracovať s Codex tak rýchlo, ako prichádzajú otázky. Môžu nadviazať na odpoveď, vyskúšať iný prístup a pokračovať v práci bez toho, aby stratili niť. Kratšie čakanie tiež mení to, do čoho sú ochotní sa pustiť – od odkladaného refaktoringu až po rutinnú úlohu, ktorú sa konečne oplatí delegovať.