Πώς το Ultrafast μείωσε τη διερεύνηση περιστατικών στην OpenAI από ώρες σε λεπτά

Αυτό το άρθρο ανήκει στη σειρά μας με παραδείγματα για το πώς η OpenAI χρησιμοποιεί τη δική της τεχνολογία και τα API της. Τα εργαλεία αυτά χρησιμοποιούνται εσωτερικά στην OpenAI και παρουσιάζονται εδώ ως ενδεικτικά παραδείγματα του τρόπου με τον οποίο η κορυφαία τεχνητή νοημοσύνη υποστηρίζει εφαρμογές σε όλες τις ομάδες μας.

Το Ultrafast είναι μια λειτουργία υψηλής ταχύτητας στο Codex και έχει γίνει η προεπιλεγμένη επιλογή των μηχανικών της OpenAI για την αντιμετώπιση περιστατικών. Όταν κάτι πάει στραβά, οι μηχανικοί συχνά δεν έχουν χρόνο να περιμένουν λεπτά ολόκληρα για μια απάντηση, ενώ το πρόβλημα επιδεινώνεται. Με το Ultrafast, μπορούν να διερευνούν πολλές πιθανές αιτίες ταυτόχρονα και να παίρνουν απαντήσεις χωρίς να διασπούν την προσοχή τους.

Ο Aaron Friel, μέλος του τεχνικού προσωπικού της OpenAI, συνήθως αναλαμβάνει τον συντονισμό όταν προκύπτει κάποιο περιστατικό. Δημιουργεί ένα κανάλι στο Slack για την αντιμετώπιση του περιστατικού και στη συνέχεια αναθέτει στο Codex να ασχοληθεί με το πρόβλημα, ζητώντας του να παρακολουθεί την εξέλιξη, να διερευνά και να απαντά σε ερωτήσεις καθώς προκύπτουν. «Σε κάθε περιστατικό, υπάρχουν συνήθως πολλά σημεία στην αλυσίδα όπου κάτι μπορεί να πήγε στραβά. Η βασική δουλειά όσων βρίσκονται σε αυτό το κανάλι είναι ουσιαστικά να βρουν τη σωστή βελόνα στον σωστό σωρό από άχυρα», λέει. «Με το Ultrafast, μπορώ ουσιαστικά να ψάχνω όλους αυτούς τους σωρούς ταυτόχρονα και να ανταποκρίνομαι στα περιστατικά πολύ πιο γρήγορα».

Ο AJ Trbojevic, μέλος του τεχνικού προσωπικού και αρχιτέκτονας ασφάλειας κέντρων δεδομένων, λέει ότι παλιότερα, κατά τη διερεύνηση ζητημάτων ασφάλειας, χρειάζονταν μία με δύο ώρες για να συγκεντρωθούν δομημένα και μη δομημένα δεδομένα, να μετατραπούν σε ενιαία μορφή και να δοθεί το απαραίτητο πλαίσιο για τη λήψη μιας απόφασης. «Τώρα αυτό γίνεται σε 10 με 15 λεπτά», λέει. «Και μερικές φορές σχεδόν σε πραγματικό χρόνο».

Ο Adam Perry και ο Sayan Sisodiya εργάζονται στην ομάδα που αναπτύσσει τον πυρήνα του πράκτορα, γράφοντας τον κώδικα που επιτρέπει στο Codex να εκτελεί ενέργειες και εντολές και να χρησιμοποιεί εργαλεία. Το Ultrafast έχει αλλάξει τον τρόπο με τον οποίο εργάζονται κατά τη διάρκεια περιστατικών ασφάλειας. «Παλιά ζητούσα από το Codex να εξετάσει κάτι και παράλληλα το εξέταζα κι εγώ, γιατί ήξερα ότι δεν θα ήταν αρκετά γρήγορο ώστε να αξίζει να περιμένω», λέει ο Adam. «Τώρα, με το Ultrafast, το Codex είναι αρκετά γρήγορο ώστε να μπορώ να παραμένω συγκεντρωμένος, αντί να μοιράζω την προσοχή μου».

Ο Sayan εκτιμά το ότι το Ultrafast τού δίνει άμεσες απαντήσεις από πολλές πηγές δεδομένων: «Πέρα από την αναζήτηση στα αρχεία καταγραφής κατά τη διάρκεια ενός περιστατικού, χρησιμοποιώ το Codex για να ψάξω στο Slack αν υπάρχουν αναφορές σε αλλαγές που ίσως είναι ύποπτες ή αν κάποιοι μιλούν για παρόμοια συμπτώματα σε άλλα κανάλια του Slack», λέει.

Ο Jeff Niu, επίσης μέλος του τεχνικού προσωπικού, λέει ότι αν χρειαστούν πάνω από 30 δευτερόλεπτα για να βρει μια απάντηση με την τεχνητή νοημοσύνη, θα κοιτάξει το Slack ή θα μιλήσει με κάποιον συνάδελφο. Με το Ultrafast, όμως, στις περισσότερες εργασίες του η αναμονή είναι πλέον μικρότερη από αυτό το όριο. Παλιά έκανε μια ερώτηση στο Codex, ασχολούνταν με κάτι άλλο όσο εκείνο σκεφτόταν και επέστρεφε έχοντας χάσει τον ειρμό του. Τώρα η συζήτηση γίνεται σε πραγματικό χρόνο, βοηθώντας τον να παραμένει συγκεντρωμένος στην εργασία του.

Το Ultrafast κάνει επίσης τον Jeff πιο πρόθυμο να αναλάβει εκτεταμένες αναδιαρθρώσεις κώδικα, καθώς η επεξεργασία του υπάρχοντος κώδικα απαιτεί λιγότερο χρόνο. «Η μείωση του τεχνικού χρέους είναι τώρα πολύ πιο εύκολη από ποτέ», λέει. «Ο κώδικας κοστίζει λίγο και πλέον παράγεται πολύ γρήγορα. Μια αναδιάρθρωση κώδικα που παλιά κόστιζε πολύ γίνεται σχεδόν αμέσως».

Ο Adam διατηρεί μια συνεχή συνομιλία με το Codex, το οποίο αποκαλεί προσωπικό του επιτελάρχη. Κάθε πρωί τού λέει ποιες συναντήσεις έχει και σε ποια μηνύματα ίσως έχει ξεχάσει να απαντήσει. «Έχει ήδη εξετάσει όλα τα δεδομένα για να γράψει αυτή τη σύνοψη, οπότε όταν κάνω μια συμπληρωματική ερώτηση, δεν χρειάζεται να περιμένω να αναζητήσει κι άλλα», λέει. «Μπορώ απλώς να συνεχίζω τις ερωτήσεις στην ίδια συνομιλία, όπως θα έκανα με έναν πραγματικό επιτελάρχη».

Ο Sayan χρησιμοποιεί το Codex για κουραστικές χειροκίνητες εργασίες στο πρόγραμμα περιήγησης, όπως η συμπλήρωση φορμών — κάτι που παλιότερα απέφευγε επειδή ήταν πολύ αργό. «Άνοιγε ένα πρόγραμμα περιήγησης, σκεφτόταν για πέντε δευτερόλεπτα, έκανε κλικ κάπου και μετά πάλι περίμενε», λέει. Χάρη στις βελτιώσεις των τελευταίων μοντέλων στη χρήση υπολογιστή, νιώθει πιο άνετα να αναθέτει αυτή τη δουλειά στο Codex. «Τώρα το αφήνω χωρίς κανέναν ενδοιασμό να κάνει τα κλικ στο πρόγραμμα περιήγησης. Είναι αρκετά γρήγορο ώστε να μη χάνω χρόνο αφήνοντάς το να κάνει τη δουλειά αντί για μένα».

Από την αντιμετώπιση περιστατικών και τον καθημερινό προγραμματισμό έως την αναδιάρθρωση κώδικα, το Ultrafast επιτρέπει στο τεχνικό προσωπικό της OpenAI να συνεργάζεται με το Codex με την ίδια ταχύτητα που θέτει ερωτήσεις. Μπορούν να εμβαθύνουν σε μια απάντηση, να δοκιμάσουν μια άλλη προσέγγιση και να συνεχίσουν να εργάζονται χωρίς να χάνουν τον ειρμό τους. Η μικρότερη αναμονή αλλάζει επίσης τις εργασίες που είναι διατεθειμένοι να αναλάβουν: από μια αναδιάρθρωση κώδικα που ανέβαλλαν μέχρι μια εργασία ρουτίνας που επιτέλους αξίζει να αναθέσουν στο Codex.