Avec Ultrafast, l’analyse des incidents passe de plusieurs heures à quelques minutes chez OpenAI

Cet article fait partie de notre série d’exemples internes montrant comment OpenAI utilise ses propres technologies et API. Ces outils sont utilisés en interne chez OpenAI et présentés ici pour illustrer comment l’IA de pointe répond aux besoins de nos équipes.

Ultrafast est un mode haute vitesse de Codex, devenu le choix par défaut des ingénieurs d’OpenAI pour répondre aux incidents. Lorsqu’une panne survient, les ingénieurs n’ont souvent pas le temps d’attendre plusieurs minutes une réponse pendant que le problème s’aggrave. Avec Ultrafast, ils peuvent explorer plusieurs causes possibles à la fois et obtenir des réponses sans disperser leur attention.

Aaron Friel, membre de l’équipe technique d’OpenAI, est généralement celui qui coordonne la gestion d’un incident. Il crée un canal Slack dédié à la réponse à l’incident, puis soumet le problème à Codex, en lui demandant de surveiller la situation, d’enquêter et de répondre aux questions à mesure qu’elles arrivent. « Lors d’un incident, il y a généralement de nombreux maillons de la chaîne où quelque chose a pu mal tourner. Trouver la bonne aiguille dans la bonne botte de foin est vraiment la mission principale des personnes sur ce canal », explique-t-il. « Avec Ultrafast, je peux en quelque sorte fouiller toutes ces bottes de foin en même temps et répondre aux incidents bien plus vite. »

AJ Trbojevic, membre de l’équipe technique et architecte en sécurité des centres de données, explique que l’analyse d’un problème de sécurité demandait auparavant une à deux heures pour rassembler les données structurées et non structurées, les normaliser et fournir le contexte nécessaire à une décision. « Aujourd’hui, cela prend 10 à 15 minutes », explique-t-il. « Et parfois, c’est presque en temps réel. »

Adam Perry et Sayan Sisodiya travaillent tous deux au sein de l’équipe chargée du cœur de l’agent. Ils développent le code qui permet à Codex d’agir, d’exécuter des commandes et d’utiliser des outils. Ultrafast a changé leur façon de travailler lors des incidents de sécurité. « Avant, je demandais à Codex d’examiner un problème, puis je l’examinais moi-même en parallèle, car je savais qu’il ne serait pas assez rapide pour que je me contente d’attendre », explique Adam. « Maintenant, avec Ultrafast, Codex est assez rapide pour que je puisse rester concentré au lieu de disperser mon attention. »

Sayan apprécie de pouvoir obtenir avec Ultrafast des réponses immédiates à partir de plusieurs sources de données : « Au-delà de l’examen des journaux lors d’un incident, j’utilise Codex pour fouiller Slack et voir si des modifications potentiellement suspectes y sont mentionnées, ou si des personnes parlent de symptômes similaires ailleurs dans Slack », explique-t-il.

S’il faut plus de 30 secondes pour trouver une réponse avec l’IA, Jeff Niu, autre membre de l’équipe technique, explique qu’il va consulter Slack ou discuter avec un collègue. Mais avec Ultrafast, la plupart de ses tâches restent désormais sous ce seuil. Avant, il posait une question à Codex, passait à autre chose pendant sa réflexion et revenait en ayant perdu le fil de ses idées. Désormais, la conversation se déroule en temps réel, ce qui l’aide à rester concentré sur sa tâche.

Ultrafast incite aussi Jeff à entreprendre des refactorisations de grande ampleur, car retravailler le code existant prend moins de temps. « Il est aujourd’hui bien plus facile que jamais de résorber la dette technique », explique-t-il. « Le code coûte peu cher, et il est désormais très rapide à produire. Une refactorisation autrefois coûteuse se fait presque instantanément. »

Adam entretient une conversation avec Codex qu’il appelle son chef de cabinet. Chaque matin, Codex lui indique ses réunions et les messages auxquels il a peut-être oublié de répondre. « Il a déjà examiné toutes les données pour rédiger ce résumé. Quand je pose une question complémentaire, il n’a donc pas besoin d’aller en chercher d’autres », explique-t-il. « Je peux simplement continuer à poser des questions dans la même conversation, comme avec un véritable chef de cabinet. »

Sayan utilise Codex pour effectuer des tâches manuelles fastidieuses dans le navigateur, comme remplir des formulaires. Il évitait auparavant de lui confier ce travail, car c’était trop lent. « Il ouvrait un navigateur, réfléchissait pendant cinq secondes, cliquait quelque part, puis s’arrêtait à nouveau », explique-t-il. Grâce aux progrès des derniers modèles dans l’utilisation de l’ordinateur, il est plus à l’aise pour laisser Codex s’en charger. « Maintenant, je le laisse volontiers cliquer dans le navigateur, et il est assez rapide pour que je ne perde pas de temps en ne le faisant pas moi-même. »

Qu’il s’agisse de répondre aux incidents, de planifier la journée ou de refactoriser du code, Ultrafast permet à l’équipe technique d’OpenAI de travailler avec Codex au rythme de ses questions. Ses membres peuvent approfondir une réponse, essayer une autre approche et poursuivre leur travail sans perdre le fil de leurs idées. Cette attente réduite change aussi ce qu’ils sont prêts à entreprendre, d’une refactorisation repoussée jusque-là à une tâche courante qu’il devient enfin intéressant de déléguer.