JioStar arhitekts par MI meklēšanu 500 milj. lietotāju mērogā

Mūsu sērijā „Vadītāja loma” pieredzē dalās vadītāji, kuri ar MI palīdzību īsteno pārmaiņas.

JioStar pārvalda izklaides un sporta tiešraižu platformas, kuras izmanto vairāk nekā 500 miljoni patērētāju un kurās sporta tiešraides vienlaikus vērojuši pat 72,5 miljoni skatītāju. Šādā mērogā MI jābūt ātram, uzticamam un gatavam darbam produkcijas vidē.

Izmantojot OpenAI API, JioStar platformā JioHotstar izveidoja sarunu asistentu video un kriketa statistikas meklēšanai. Skatītāji var runāt dabiskā valodā, lai atrastu filmas un raidījumus, spilgtākos pagātnes notikumus, tiešraides spēļu momentus vai kriketa statistiku, un saņemt vizuāli attēlotus rezultātus sarunas gaitā.

OpenAI vadītāju samitā Singapūrā Sidhārts Šarma, OpenAI tirgū palaišanas vadītājs ASEAN reģionā, sarunājās ar JioStar galveno arhitektu Vidžaju Šešadri par to, kā aptuveni astoņās nedēļās izveidot šo risinājumu vairāk nekā 15 valodās un ko no tā var mācīties vadītāji, kuri pāriet no MI demonstrācijām uz tā ieviešanu produkcijas vidē.

Satura atrašanas veidi pēdējo 25 gadu laikā ir mainījušies ļoti maz. Pēdējā lielā pārmaiņa bija ieteikumu ieviešana. Liela daļa turpmāko uzlabojumu ir bijuši šīs pašas idejas pilnveidojumi.

Taču izvēle, ko skatīties, ir ļoti personiska. Cilvēks varētu teikt: „Man ir skumji. Parādi kaut ko, kas mani uzmundrinās.” Pat šādā vienkāršā lūgumā ir daudz nianšu. Kādas ir šīs skumjas? Kas šo cilvēku parasti uzmundrina? Vai viņš vēlas komēdiju, kaut ko mierinošu vai kaut ko tādu, kas pilnībā novērstu domas?

Tradicionālai ieteikumu sistēmai var būt grūti saprast cilvēka tābrīža vajadzības. Saruna ļauj skatītājam tās izskaidrot. Mēs to saucam par balss un vizuālo saskarni.

Pie koncepcijas sākām strādāt oktobrī un novembrī, bet februārī bija gaidāms liels kriketa turnīrs. Mūsu rīcībā bija aptuveni divi mēneši, un mums bija divas ļoti atšķirīgas auditorijas: izklaides satura skatītāji un kriketa fani.

Izklaides satura skatītājs varētu teikt: „Ir piektdienas vakars — pārsteidz mani!” vai aprakstīt filmu, nezinot tās nosaukumu. Sporta skatītājus var interesēt konkrētāki notikumi, piemēram, atsitēju izslēgšanas momenti, sešu punktu sitienu virkne vai spēle, kurā kāds spēlētājs guvis noteiktu punktu skaitu. Kriketa lietpratēji var vēlēties statistiku par katru metienu.

Tie ir ļoti atšķirīgi satura meklēšanas uzdevumi. Mūsu uzdevums bija ļoti īsā laikā apvienot izklaidi, sporta momentus un detalizētu kriketa statistiku vienā risinājumā vairākās valodās.

Jau pašā sākumā definējām uzdevumu kā līdzsvara meklēšanu starp trim faktoriem: precizitāti, aizturi un izmaksām. Katrā tehniskajā lēmumā bija vienlaikus jāsabalansē visi trīs.

Balss saskarnes dēļ tas bija īpaši svarīgi. Vairāk nekā 60 % mūsu lietotāju teksta vietā izmanto balsi: cilvēki labprātāk pasaka, ko vēlas skatīties. Arī šādā mērogā atbildei jābūt atbilstošai un ātrai, bet tās sniegšanai — ekonomiski izdevīgai.

Es to iedalu divās daļās: novērtēšanas ietvarā un validācijas slānī. Pirms ieviešanas produkcijas vidē novērtēšanas ietvaram jāpalīdz noteikt nepieciešamās izmaiņas. Produkcijas vidē atgriezeniskās saites ciklam jāļauj pārvērst klientu uzvedību un kļūmes jaunos novērtēšanas scenārijos.

Šis cikls var kļūt arvien efektīvāks pats no sevis, taču panākt tā pareizu darbību ir ārkārtīgi grūti.

Nozares eksperti ir neaizstājami. Sporta statistikas novērtēšanā sadarbojāmies, piemēram, ar sporta žurnālu redaktoriem, kuri saprata, ko varētu jautāt aizrautīgi līdzjutēji. Sākumā ar uzvedni vien nepietiek; sistēmas pamatos jāieliek cilvēku padziļinātās zināšanas.

Viena no lietām, kas mums izdevās, bija komandas izveide. Sākām ar nelielu datu zinātnieku un inženieru komandu un skaidri definētu problēmu. OpenAI inženieri, kuri strādā tieši ar klientiem, sadarbojās ar mums, lai vēl precīzāk noteiktu tās dažas lietas, kurās nedrīkstējām kļūdīties.

Pirmā bija darbības tvērums. Balss vai teksta saskarne ļauj lietotājiem jautāt gandrīz jebko, tāpēc vispirms izlēmām, uz ko sistēmai nevajadzētu atbildēt. Drošības ierobežojumi bija pirmajā vietā.

Novērtēšanai sākām ar sākotnējo datu kopu un izmantojām modeļus, lai to papildinātu ar daudzveidīgākiem piemēriem. Izveidojām to, ko tagad varētu saukt par veidotāja un pārbaudītāja pieeju: viens modelis palīdzēja noteikt, kā atbildēt uz jautājumu, savukārt otrs darbojās kā validators — LVM vērtētāja lomā — ar pretēju mērķi.

Tas radīja vēl vienu jautājumu: kurš pārbauda vērtētāju? Arī paša validatora izstrāde bija novērtēšanas uzdevums. Codex palīdzēja komandai paātrināt tādus darbus kā novērtēšanas scenāriju ģenerēšana un sistēmas atjaunināšana, taču ātrāka izstrāde neatcēla vajadzību pēc spriestspējas un validācijas.

Es agrāk ieguldītu modeļa efektivitātes uzraudzībā produkcijas vidē.

Tradicionālie infrastruktūras rādītāji, piemēram, P99 aizture, joprojām ir svarīgi, taču ar tiem nepietiek. Jāuzrauga arī modeļa efektivitāte produkcijas vidē.

Pirmkārt, pastāv liela plaisa starp tehnoloģijas iespējām un reālo situāciju uzņēmumā. Ja jūsu uzņēmums nav ticis līdzi katram paziņojumam par jaunu robežšķirtnes modeli, jūs neesat vienīgie.

Otrkārt, koncentrējieties uz rezultātiem, nevis aktivitāti. Redzamu rosību ir viegli noturēt par būtisku progresu, īpaši tad, ja uzņēmumi uzsver ieguldītā darba rādītājus. Piemēram, ģenerēto koda rindu skaits nepasaka, vai esat radījuši nozīmīgu vērtību.

Visbeidzot, lielākā daļa uzņēmumu nenovērtē, cik būtiskas ir cilvēku prasmes un spēja patstāvīgi rīkoties. Ar vispārīgu prasmju apguves programmu vien nepietiek. Vadītājiem vajadzīgi cilvēki, kuri šos rīkus prot izmantot ar apdomu. Dodiet prasmīgam inženierim tādu rīku kā Codex, un ieguvums var daudzkāršoties; bez spriestspējas, kas vajadzīga produkcijas sistēmu validācijai, daudzkāršojas arī risks.

Jūsu rokās ir raķete. Jo īpaši produkcijas sistēmās ir vajadzīga validācija un drošības ierobežojumi, un vadība jāuztic īstajiem cilvēkiem.