„JioStar“ vyr. architektas apie DI paiešką 500 mln. naudotojų

Mūsų pokalbių cikle „Executive Function“ savo įžvalgomis dalijasi vadovai, skatinantys pokyčius pasitelkdami DI.

„JioStar“ valdo pramogų ir tiesioginių sporto transliacijų platformas, kuriomis naudojasi daugiau nei 500 mln. vartotojų. Tiesiogines sporto transliacijas jose vienu metu stebėjo net 72,5 mln. žiūrovų. Esant tokiam mastui, DI turi veikti greitai, patikimai ir būti paruoštas naudoti realiomis sąlygomis.

Naudodama „OpenAI“ API, „JioStar“ į „JioHotstar“ integravo pokalbių asistentą, padedantį rasti vaizdo įrašus ir kriketo statistiką. Žiūrovai gali kalbėti natūraliai ir ieškoti filmų, laidų, įsimintinų praeities epizodų, tiesiogiai transliuojamų rungtynių akimirkų ar kriketo statistikos, o rezultatai pateikiami vaizdžiai, tęsiant pokalbį.

Singapūre vykusiame „OpenAI“ vadovų susitikime Sidharth Sharma, „OpenAI“ patekimo į rinką strategijos vadovas ASEAN regione, kalbėjosi su „JioStar“ vyriausiuoju architektu Vijay Seshadri apie tai, kaip per maždaug aštuonias savaites buvo sukurtas sprendimas daugiau nei 15 kalbų, ir kokias pamokas gali išmokti vadovai, pereinantys nuo DI demonstracijų prie realaus naudojimo.

Per pastaruosius 25 metus turinio paieška pasikeitė labai mažai. Paskutinis didelis pokytis buvo rekomendacijos. Dauguma vėlesnių naujovių tebuvo tos pačios idėjos patobulinimai.

Tačiau sprendimas, ką žiūrėti, yra labai asmeniškas. Žmogus gali pasakyti: „Man liūdna. Parodyk ką nors, kas pakeltų nuotaiką.“ Net ir tokiame paprastame prašyme slypi daug niuansų. Koks tai liūdesys? Kas tam žmogui paprastai pakelia nuotaiką? Ar jis nori komedijos, ko nors jaukaus, ar ko nors, kas visiškai atitrauktų mintis?

Tradicinei rekomendacijų sistemai gali būti sunku suprasti tokią situaciją. Pokalbis suteikia žiūrovui galimybę ją paaiškinti. Mes tai vadiname balso ir vaizdo sąsaja.

Koncepciją pradėjome plėtoti spalį ir lapkritį, o vasarį jau laukė didelis kriketo turnyras. Turėjome maždaug du mėnesius ir dvi labai skirtingas auditorijas: pramoginio turinio žiūrovus ir kriketo gerbėjus.

Pramoginio turinio žiūrovas gali pasakyti: „Penktadienio vakaras – nustebink mane“ arba apibūdinti filmą nežinodamas jo pavadinimo. Sporto žiūrovai gali norėti konkretesnės informacijos, pavyzdžiui, apie mušėjų pašalinimą, šešių taškų smūgių seriją ar rungtynes, kuriose žaidėjas pelnė tam tikrą taškų skaičių. Kriketo žinovams gali rūpėti kiekvieno metimo statistika.

Tai labai skirtingos paieškos užduotys. Stengėmės per labai trumpą laiką sujungti pramoginį turinį, sporto akimirkas ir išsamią kriketo statistiką į vieną daugiakalbį sprendimą.

Nuo pat pradžių užduotį apibrėžėme kaip pusiausvyros tarp trijų dalykų paiešką: tikslumo, atsako delsos ir sąnaudų. Priimant kiekvieną inžinerinį sprendimą reikėjo suderinti visus tris.

Balso sąsaja šią pusiausvyrą darė ypač svarbią. Daugiau nei 60 % mūsų naudotojų renkasi balsą, o ne tekstą: žmonėms patogiau pasakyti, ką nori žiūrėti. Tačiau atsakymas vis tiek turi būti aktualus, greitas, o jo pateikimas tokiu mastu – ekonomiškai pagrįstas.

Ją skirstau į dvi dalis: vertinimo sistemą ir patikros sluoksnį. Prieš pradedant realiai naudoti produktą, vertinimo sistema turėtų parodyti, ką reikia keisti. Pradėjus jį naudoti, grįžtamojo ryšio ciklas turėtų paversti klientų elgseną ir nesėkmes naujais vertinimo atvejais.

Šis ciklas gali pats įgauti vis didesnį pagreitį, tačiau tinkamai jį sukurti itin sunku.

Be srities ekspertų neišsiversite. Rengdami sporto statistikos vertinimus dirbome su tokiais specialistais kaip sporto žurnalų redaktoriai, kurie suprato, ko gali klausti aistringi sirgaliai. Pradėti vien nuo užklausos nepakanka – sistemos pagrindą turi sudaryti gilios žmonių ekspertinės žinios.

Vienas iš pasiteisinusių mūsų sprendimų buvo komandos sudėtis. Pradėjome nuo nedidelės duomenų mokslininkų ir inžinierių komandos bei aiškiai suformuluotos problemos. Tiesiogiai su klientais dirbantys „OpenAI“ inžinieriai kartu su mumis padėjo tiksliau nustatyti kelis dalykus, kuriuos būtinai turėjome padaryti gerai.

Pirmasis buvo veikimo ribos. Balso ar teksto sąsaja leidžia naudotojams klausti beveik bet ko, todėl pirmiausia nusprendėme, į ką sistema neturėtų atsakyti. Pirmiausia pasirūpinome apsaugos priemonėmis.

Vertinimams parengėme pradinį duomenų rinkinį ir, pasitelkę modelius, papildėme jį įvairesniais pavyzdžiais. Sukūrėme tai, ką dabar būtų galima vadinti kūrėjo ir tikrintojo principu: vienas modelis padėjo nustatyti, kaip atsakyti į klausimą, o kitas veikė kaip tikrintojas – LLM teisėjas, turintis priešingą tikslą.

Tai iškėlė kitą klausimą: kas tikrina teisėją? Pats tikrintojo kūrimas buvo vertinimo užduotis. „Codex“ padėjo komandai paspartinti tokius darbus kaip vertinimo atvejų generavimas ir sistemos atnaujinimas, tačiau spartesnis kūrimas nepanaikino būtinybės kritiškai vertinti ir tikrinti.

Anksčiau investuočiau į modelio veiksmingumo stebėseną realaus naudojimo aplinkoje.

Tradiciniai infrastruktūros rodikliai, tokie kaip P99 delsa, tebėra svarbūs, tačiau jų nepakanka. Taip pat reikia stebėti, kaip veiksmingai modelis veikia realiomis sąlygomis.

Pirma, technologijų galimybes ir įmonės vidaus realybę skiria didelis atotrūkis. Jei jūsų įmonė nespėja žengti koja kojon su kiekvienu nauju priešakiniu modeliu, jūs tokie ne vieni.

Antra, nuolat sutelkite dėmesį į rezultatus, o ne į pačią veiklą. Matomą aktyvumą lengva palaikyti reikšminga pažanga, ypač kai įmonės akcentuoja įdėtų pastangų rodiklius. Pavyzdžiui, sugeneruotų kodo eilučių skaičius neparodo, ar sukūrėte reikšmingą vertę.

Galiausiai, dauguma įmonių nepakankamai įvertina, kiek reikia žmonių kompetencijos ir gebėjimo savarankiškai veikti. Vien bendros įgūdžių ugdymo programos čia nepakaks. Vadovams reikia žmonių, gebančių apgalvotai taikyti šiuos įrankius. Duokite geram inžinieriui tokį įrankį kaip „Codex“, ir jo darbo poveikis gali išaugti daug kartų. Tačiau jei stinga gebėjimo kritiškai patikrinti realiai naudojamas sistemas, tiek pat išauga ir rizika.

Jūsų rankose – raketa. Ypač realiai naudojamoms sistemoms būtinos patikros ir apsaugos priemonės, o jų valdymą reikia patikėti tinkamiems žmonėms.