Hogyan rövidítette az Ultrafast órákról percekre az incidensek kivizsgálását az OpenAI-nál?

Sorozatunk belső példákon keresztül mutatja be, hogyan használja az OpenAI a saját technológiáját és API-jait. Ezeket az eszközöket az OpenAI-nál belső használatra alkalmazzuk, és itt azt szemléltetjük velük, hogyan segíti az élvonalbeli AI a csapatainkat a különféle feladataikban.

Az Ultrafast a Codex nagy sebességű üzemmódja, amely az OpenAI mérnökeinél az incidenskezelés alapértelmezett eszközévé vált. Ha valami elromlik, a mérnököknek gyakran nincs idejük percekig várni a válaszra, miközben a probléma egyre súlyosbodik. Az Ultrafasttal egyszerre több lehetséges okot is megvizsgálhatnak, és úgy kaphatnak válaszokat, hogy nem kell megosztaniuk a figyelmüket.

Általában Aaron Friel, az OpenAI műszaki munkatársa irányítja az incidensek kezelését. Létrehoz egy Slack-csatornát az incidenskezeléshez, majd a Codex figyelmét a problémára irányítja: megkéri, hogy kövesse az eseményeket, vizsgálja ki a hibát, és válaszoljon a felmerülő kérdésekre. „Egy incidensnél általában a folyamat számos pontján történhetett hiba, és a csatornán dolgozók fő feladata valójában az, hogy megtalálják a megfelelő tűt a megfelelő szénakazalban” – mondja. „Az Ultrafasttal lényegében az összes szénakazalt egyszerre tudom átkutatni, így sokkal gyorsabban reagálhatok az incidensekre.”

AJ Trbojevic műszaki munkatárs és adatközpont-biztonsági architekt szerint a biztonsági problémák kivizsgálásakor korábban egy-két órát vett igénybe a strukturált és strukturálatlan adatok összegyűjtése, egységesítése és a döntéshez szükséges összefüggések feltárása. „Ez most 10–15 perc alatt megvan” – mondja. „Néha pedig szinte valós időben történik.”

Adam Perry és Sayan Sisodiya egyaránt az ügynök alapműködéséért felelős csapatban dolgozik: azt a kódot fejlesztik, amely lehetővé teszi, hogy a Codex műveleteket hajtson végre, parancsokat futtasson és eszközöket használjon. Az Ultrafast megváltoztatta, hogyan dolgoznak a biztonsági incidensek során. „Korábban megkértem a Codexet, hogy nézzen utána valaminek, és közben én is nekiálltam, mert tudtam, hogy nem lesz elég gyors ahhoz, hogy megérje csak rá várni” – mondja Adam. „Az Ultrafasttal viszont a Codex már elég gyors ahhoz, hogy a feladatra összpontosíthassak, ahelyett, hogy megosztanám a figyelmemet.”

Sayan nagyra értékeli, hogy az Ultrafasttal több adatforrásból is azonnal választ kaphat: „Egy incidensnél nemcsak a naplókat nézetem át a Codexszel, hanem a Slacket is: keresek-e benne utalásokat gyanús változtatásokra, vagy beszélnek-e máshol hasonló tünetekről” – mondja.

Jeff Niu, a műszaki csapat egy másik tagja azt mondja, ha az AI-val több mint 30 másodpercbe telik választ találni, inkább megnézi a Slacket, vagy beszélget egy kollégájával. Az Ultrafasttal azonban a munkája során most már többnyire ennél hamarabb választ kap. Korábban feltett egy kérdést a Codexnek, majd amíg az gondolkodott, átváltott valami másra, és mire visszatért, már elvesztette a fonalat. Most a párbeszéd valós időben zajlik, így könnyebben összpontosít az aktuális feladatra.

Az Ultrafasttal Jeff szívesebben vág bele nagyobb refaktorálásokba is, mert a meglévő kód átdolgozása kevesebb időt vesz igénybe. „A technikai adósságot most sokkal könnyebb lefaragni, mint valaha” – mondja. „Kódot írni olcsó, és most már nagyon gyorsan is megy. Egy refaktorálás, amely korábban sokba került, most szinte azonnal elkészül.”

Adam folyamatosan használ egy Codex-beszélgetést, amelyet a kabinetfőnökének nevez. Ez minden reggel megmondja neki, milyen megbeszélései lesznek, és mely üzenetekre felejthetett el válaszolni. „Az összefoglaló megírásához már minden adatot átnézett, így ha tovább kérdezek, nem kell újabb adatok lekérésére várni” – mondja. „Ugyanabban a beszélgetésben folytathatom a kérdezést, mintha egy igazi kabinetfőnökkel beszélnék.”

Sayan a Codexre bízza az olyan unalmas, kézi munkát igénylő böngészős feladatokat, mint az űrlapok kitöltése – korábban ezt kerülte, mert túl lassú volt. „Megnyitott egy böngészőt, öt másodpercig gondolkodott, kattintott valamire, aztán megint csak várakozott” – mondja. Mivel a legújabb modellek már ügyesebben használják a számítógépet, bátrabban bízza ezt a munkát a Codexre. „Most már nyugodtan hagyom, hogy végigkattintgassa a böngészőt, és elég gyors ahhoz, hogy ne veszítsek időt azzal, hogy nem magam csinálom.”

Legyen szó incidenskezelésről, napi tervezésről vagy refaktorálásról, az Ultrafasttal a Codex lépést tart az OpenAI műszaki munkatársainak kérdéseivel. Rákérdezhetnek a kapott válasz részleteire, kipróbálhatnak egy másik megközelítést, és úgy folytathatják a munkát, hogy nem veszítik el a fonalat. A rövidebb várakozás azt is megváltoztatja, mibe vágnak bele: egy eddig halogatott refaktorálástól kezdve egy rutinfeladatig, amelyet végre megéri átadni.