JioStar: Ανακάλυψη περιεχομένου με ΤΝ για 500 εκατ. χρήστες

Η σειρά μας Executive Function παρουσιάζει τις απόψεις ηγετικών στελεχών που προωθούν τον μετασχηματισμό μέσω της ΤΝ.

Η JioStar διαχειρίζεται πλατφόρμες ψυχαγωγίας και ζωντανών αθλητικών μεταδόσεων που χρησιμοποιούν περισσότεροι από 500 εκατομμύρια καταναλωτές και έχει εξυπηρετήσει έως και 72,5 εκατομμύρια ταυτόχρονους θεατές ζωντανών αθλητικών μεταδόσεων. Σε αυτή την κλίμακα, η ΤΝ πρέπει να είναι γρήγορη, αξιόπιστη και έτοιμη για παραγωγική λειτουργία.

Χρησιμοποιώντας το API της OpenAI, η JioStar ενσωμάτωσε στο JioHotstar έναν βοηθό συνομιλίας για την ανακάλυψη βίντεο και στατιστικών κρίκετ. Οι θεατές μπορούν να μιλούν φυσικά για να βρουν ταινίες και σειρές, κορυφαίες στιγμές από το παρελθόν, στιγμιότυπα από αγώνες που μεταδίδονται ζωντανά ή στατιστικά κρίκετ. Τα αποτελέσματα παρουσιάζονται μέσα από μια εμπειρία που συνδυάζει εικόνα και διάλογο.

Στο Executive Summit της OpenAI στη Σιγκαπούρη, ο Sidharth Sharma, επικεφαλής διάθεσης στην αγορά για την περιοχή ASEAN στην OpenAI, συνομίλησε με τον Vijay Seshadri, επικεφαλής αρχιτέκτονα συστημάτων της JioStar, για το πώς ανέπτυξαν αυτή την εμπειρία σε περισσότερες από 15 γλώσσες μέσα σε περίπου οκτώ εβδομάδες, καθώς και για τα διδάγματα που μπορούν να αντλήσουν τα στελέχη που περνούν την ΤΝ από την επίδειξη στην παραγωγική λειτουργία.

Η ανακάλυψη περιεχομένου έχει εξελιχθεί ελάχιστα τα τελευταία 25 χρόνια. Οι προτάσεις περιεχομένου ήταν η τελευταία μεγάλη αλλαγή. Τα περισσότερα από όσα ακολούθησαν ήταν παραλλαγές της ίδιας ιδέας.

Όμως η επιλογή του τι θα παρακολουθήσει κανείς είναι βαθιά προσωπική. Κάποιος μπορεί να πει: «Νιώθω στενοχώρια. Δείξε μου κάτι που θα μου φτιάξει τη διάθεση». Ακόμη και αυτό το απλό αίτημα κρύβει πολλές αποχρώσεις. Τι είδους στενοχώρια; Τι συνήθως φτιάχνει τη διάθεση αυτού του ανθρώπου; Θέλει μια κωμωδία, κάτι οικείο που τον κάνει να νιώθει όμορφα ή κάτι που θα του αποσπάσει εντελώς την προσοχή;

Ένα παραδοσιακό σύστημα προτάσεων μπορεί να δυσκολευτεί να καταλάβει τι χρειάζεται εκείνη τη στιγμή. Ο διάλογος δίνει στον θεατή έναν τρόπο να το εξηγήσει. Το ονομάζουμε διεπαφή φωνής και εικόνας.

Ξεκινήσαμε να επεξεργαζόμαστε την ιδέα τον Οκτώβριο και τον Νοέμβριο, ενόψει ενός μεγάλου τουρνουά κρίκετ τον Φεβρουάριο. Είχαμε περίπου δύο μήνες και δύο πολύ διαφορετικά κοινά: θεατές ψυχαγωγικού περιεχομένου και φίλους του κρίκετ.

Ένας θεατής ψυχαγωγικού περιεχομένου μπορεί να πει «Είναι Παρασκευή βράδυ — κάνε μου έκπληξη» ή να περιγράψει μια ταινία χωρίς να γνωρίζει τον τίτλο της. Οι θεατές αθλητικών μεταδόσεων μπορεί να θέλουν πιο συγκεκριμένη ενημέρωση, όπως τις αποβολές παικτών, μια σειρά από εξάρια ή τον αγώνα στον οποίο ένας παίκτης σημείωσε συγκεκριμένο αριθμό πόντων. Οι γνώστες του κρίκετ μπορεί να θέλουν στατιστικά για κάθε ρίψη.

Πρόκειται για πολύ διαφορετικές προκλήσεις στην ανακάλυψη περιεχομένου. Εργαστήκαμε για να συνδυάσουμε ψυχαγωγία, αθλητικά στιγμιότυπα και αναλυτικά στατιστικά κρίκετ σε μια ενιαία εμπειρία, σε πολλές γλώσσες και μέσα σε πολύ σύντομο διάστημα.

Από πολύ νωρίς, ορίσαμε το πρόβλημα ως μια άσκηση ισορροπίας ανάμεσα σε τρεις παράγοντες: ακρίβεια, χρόνο απόκρισης και κόστος. Κάθε τεχνική απόφαση έπρεπε να εξισορροπεί και τους τρεις ταυτόχρονα.

Η χρήση φωνής το έκανε αυτό ιδιαίτερα σημαντικό. Πάνω από το 60% των χρηστών μας χρησιμοποιούν φωνή αντί για κείμενο: οι άνθρωποι προτιμούν να λένε τι θέλουν να παρακολουθήσουν. Η απόκριση πρέπει και πάλι να είναι σχετική, γρήγορη και οικονομικά βιώσιμη σε μεγάλη κλίμακα.

Το σκέφτομαι ως δύο μέρη: ένα πλαίσιο αξιολόγησης και ένα επίπεδο επικύρωσης. Πριν από την παραγωγική λειτουργία, το πλαίσιο αξιολόγησης πρέπει να οδηγεί σε αλλαγές. Στην παραγωγική λειτουργία, ένας κύκλος ανατροφοδότησης πρέπει να μετατρέπει τη συμπεριφορά των πελατών και τις αστοχίες σε νέα σενάρια αξιολόγησης.

Αυτός ο κύκλος μπορεί να ενισχύεται από μόνος του, αλλά είναι εξαιρετικά δύσκολο να λειτουργήσει σωστά.

Οι ειδικοί του εκάστοτε τομέα είναι απαραίτητοι. Για τις αξιολογήσεις αθλητικών στατιστικών, συνεργαστήκαμε με ανθρώπους όπως συντάκτες αθλητικών περιοδικών, που καταλάβαιναν τι μπορεί να ρωτήσουν οι φανατικοί φίλαθλοι. Δεν αρκεί να ξεκινήσετε μόνο με μια προτροπή· πρέπει να δώσετε στο σύστημα ως αφετηρία τη βαθιά γνώση των ειδικών.

Ένα πράγμα που κάναμε σωστά ήταν η επιλογή της ομάδας. Ξεκινήσαμε με μια μικρή ομάδα επιστημόνων δεδομένων και μηχανικών, έχοντας ορίσει με σαφήνεια το πρόβλημα. Οι μηχανικοί της OpenAI που συνεργάζονται άμεσα με πελάτες δούλεψαν μαζί μας για να προσδιορίσουμε ακόμη καλύτερα τα λίγα πράγματα που έπρεπε οπωσδήποτε να γίνουν σωστά.

Το πρώτο ήταν τα όρια του συστήματος. Μια διεπαφή φωνής ή κειμένου επιτρέπει στους χρήστες να ρωτούν σχεδόν οτιδήποτε, οπότε ξεκινήσαμε αποφασίζοντας σε τι δεν θα έπρεπε να απαντά το σύστημα. Οι δικλίδες ασφαλείας είχαν προτεραιότητα.

Για τις αξιολογήσεις, ξεκινήσαμε με ένα αρχικό σύνολο δεδομένων και χρησιμοποιήσαμε μοντέλα για να το επεκτείνουμε με περισσότερες παραλλαγές. Δημιουργήσαμε αυτό που σήμερα θα μπορούσε να ονομαστεί σχήμα δημιουργού–ελεγκτή: ένα μοντέλο βοηθούσε να καθοριστεί πώς θα απαντηθεί μια ερώτηση, ενώ ένα άλλο είχε τον ρόλο της επικύρωσης —ένα LLM ως κριτής— με αντίρροπο στόχο.

Αυτό έθεσε ένα ακόμη ερώτημα: ποιος ελέγχει τον κριτή; Ο ίδιος ο σχεδιασμός του μηχανισμού επικύρωσης ήταν ένα πρόβλημα αξιολόγησης. Το Codex βοήθησε την ομάδα να επιταχύνει εργασίες όπως η δημιουργία σεναρίων αξιολόγησης και η ενημέρωση του συστήματος. Όμως η ταχύτερη ανάπτυξη δεν εξάλειψε την ανάγκη για κρίση και επικύρωση.

Θα επένδυα νωρίτερα στην παρακολούθηση της αποτελεσματικότητας του μοντέλου σε περιβάλλον παραγωγής.

Οι παραδοσιακοί δείκτες υποδομής, όπως ο χρόνος απόκρισης P99, παραμένουν σημαντικοί, αλλά δεν αρκούν. Χρειάζεται επίσης να παρακολουθείτε την αποτελεσματικότητα του μοντέλου στην παραγωγική λειτουργία.

Πρώτον, υπάρχει μεγάλο χάσμα ανάμεσα στις δυνατότητες της τεχνολογίας και στην πραγματικότητα μέσα σε μια επιχείρηση. Αν η εταιρεία σας δεν έχει συμβαδίσει με κάθε ανακοίνωση κορυφαίου μοντέλου, δεν είστε οι μόνοι.

Δεύτερον, συνεχίστε να εστιάζετε στα αποτελέσματα και όχι στη δραστηριότητα. Είναι εύκολο να μπερδέψει κανείς την ορατή κινητικότητα με την ουσιαστική πρόοδο, ιδιαίτερα όταν οι εταιρείες δίνουν έμφαση σε δείκτες εισροών. Για παράδειγμα, ο αριθμός των γραμμών κώδικα που δημιουργήθηκαν δεν σας λέει αν δημιουργήσατε ουσιαστική αξία.

Τέλος, οι περισσότερες επιχειρήσεις υποτιμούν τις δεξιότητες και την ικανότητα ανάληψης πρωτοβουλιών που απαιτούνται από τους ανθρώπους. Δεν αρκεί ένα γενικό πρόγραμμα ανάπτυξης δεξιοτήτων. Τα ηγετικά στελέχη χρειάζονται ανθρώπους που μπορούν να χρησιμοποιούν αυτά τα εργαλεία με σωστή κρίση. Δώστε σε έναν ικανό μηχανικό ένα εργαλείο όπως το Codex και η συμβολή του μπορεί να πολλαπλασιαστεί· χωρίς όμως την κρίση που απαιτείται για την επικύρωση συστημάτων παραγωγής, πολλαπλασιάζεται και ο κίνδυνος.

Έχετε έναν πύραυλο στα χέρια σας. Ειδικά στα συστήματα παραγωγής, χρειάζεστε επικύρωση και δικλίδες ασφαλείας, και πρέπει να δώσετε τα κλειδιά στους σωστούς ανθρώπους.