Kako je Ultrafast u tvrtki OpenAI skratio istraživanje incidenata sa sati na minute

Ovaj je članak dio serijala u kojem dijelimo interne primjere kako OpenAI upotrebljava vlastitu tehnologiju i API-je. Ti se alati upotrebljavaju unutar tvrtke OpenAI, a ovdje ih predstavljamo kao ilustrativne primjere primjene granične umjetne inteligencije u radu naših timova.

Ultrafast je način rada velike brzine u alatu Codex, a inženjerima u tvrtki OpenAI postao je prvi izbor pri odgovoru na incidente. Kad nešto zakaže, inženjeri često nemaju vremena čekati odgovor nekoliko minuta dok se problem pogoršava. Uz Ultrafast mogu istodobno istražiti više mogućih uzroka i dobiti odgovore bez raspršivanja pažnje.

Aaron Friel, član tehničkog tima u tvrtki OpenAI, obično vodi odgovor na incident. Otvori kanal na Slacku za odgovor na incident, a zatim usmjeri Codex na problem i zatraži da prati situaciju, istražuje i odgovara na pitanja kako pristižu. „U svakom incidentu obično postoji mnogo točaka na kojima je nešto moglo poći po zlu, a pronaći pravu iglu u pravom plastu sijena zapravo je glavni posao ljudi na tom kanalu”, kaže. „Uz Ultrafast mogu praktički pretraživati sve te plastove sijena istodobno i mnogo brže reagirati na incidente.”

AJ Trbojevic, član tehničkog tima i arhitekt sigurnosti podatkovnih centara, kaže da je pri istraživanju sigurnosnih problema prije trebalo sat ili dva da se objedine strukturirani i nestrukturirani podaci, ujednači njihov format i osigura kontekst za donošenje odluke. „Sad se to obavi za 10 do 15 minuta”, kaže. „A ponekad gotovo u stvarnom vremenu.”

Adam Perry i Sayan Sisodiya rade u timu zaduženom za temeljne funkcije agenta te razvijaju kod koji alatu Codex omogućuje poduzimanje radnji, izvršavanje naredbi i upotrebu alata. Ultrafast je promijenio njihov način rada tijekom sigurnosnih incidenata. „Prije bih zatražio da Codex nešto istraži, a zatim bih istodobno to i sam istraživao jer sam znao da neće biti dovoljno brz da ga jednostavno pričekam”, kaže Adam. „Sad je uz Ultrafast Codex dovoljno brz da mogu ostati usredotočen umjesto da raspršujem pažnju.”

Sayan cijeni to što mu Ultrafast omogućuje da odmah dobije odgovore iz više izvora podataka: „Osim pretraživanja zapisnika tijekom incidenta, upotrebljavam Codex za pretraživanje Slacka kako bih provjerio spominju li se promjene koje bi mogle biti sumnjive ili razgovaraju li ljudi drugdje na Slacku o sličnim simptomima”, kaže.

Ako pronalaženje odgovora uz pomoć umjetne inteligencije traje dulje od 30 sekundi, Jeff Niu, također član tehničkog tima, kaže da će provjeriti Slack ili porazgovarati s kolegom. No uz Ultrafast sada u većini slučajeva dobiva odgovor prije tog roka. Prije bi postavio pitanje alatu Codex, prebacio se na nešto drugo dok alat razmišlja, a kad bi se vratio, već bi izgubio nit. Sada se taj razgovor odvija u stvarnom vremenu, što mu pomaže da ostane usredotočen na zadatak koji obavlja.

Uz Ultrafast Jeff se i lakše odlučuje na opsežna refaktoriranja jer prerada postojećeg koda traje kraće. „Tehnički dug sada je mnogo lakše smanjiti nego ikad prije”, kaže. „Kod je jeftin, a sada se i vrlo brzo stvara. Refaktoriranje koje je prije bilo skupo sada se obavi gotovo trenutačno.”

Adam održava jedan stalni razgovor u alatu Codex koji naziva svojim šefom kabineta. Svako mu jutro kaže koje sastanke ima i na koje je poruke možda zaboravio odgovoriti. „Već je pregledao sve podatke da bi napisao taj sažetak, pa kad postavim dodatno pitanje, ne mora tek dohvaćati nove”, kaže. „Mogu jednostavno nastaviti postavljati pitanja u istom razgovoru, baš kao da razgovaram s pravim šefom kabineta.”

Sayan upotrebljava Codex za zamorne ručne zadatke u pregledniku, poput ispunjavanja obrazaca, što mu prije nije prepuštao jer je bilo presporo. „Otvorio bi preglednik, pet sekundi razmišljao, kliknuo nešto pa opet zastao”, kaže. Budući da su najnoviji modeli napredovali u upotrebi računala, s više povjerenja prepušta taj posao alatu Codex. „Sad mu bez problema prepuštam da klika po pregledniku. Dovoljno je brz da ne gubim vrijeme time što to ne radim sam.”

Pri odgovoru na incidente, svakodnevnom planiranju i refaktoriranju Ultrafast omogućuje tehničkom timu tvrtke OpenAI da radi s alatom Codex koji prati ritam njihovih pitanja. Mogu postaviti dodatno pitanje na temelju odgovora, isprobati drugi pristup i nastaviti raditi bez gubljenja niti. Kraće čekanje mijenja i zadatke koje su spremni preuzeti, od refaktoriranja koje su odgađali do rutinskog posla koji se napokon isplati delegirati.