JioStari peaarhitekt AI-otsingust 500 miljonile kasutajale

Meie sari Executive Function tutvustab juhtide vaatenurki, kes viivad AI abil ellu põhjalikke muutusi.

JioStar haldab meelelahutuse ja spordi otseülekannete platvorme, mida kasutab üle 500 miljoni tarbija, ning on teenindanud korraga kuni 72,5 miljonit spordiülekannete vaatajat. Sellise mastaabi juures peab AI olema kiire, töökindel ja tootmiskeskkonnas kasutamiseks valmis.

OpenAI API abil ehitas JioStar JioHotstari sisse vestluspõhise abilise videote ja kriketistatistika leidmiseks. Vaatajad saavad loomulikult rääkides leida filme ja sarju, varasemaid tipphetki, käimasolevate mängude hetki või kriketistatistikat ning näevad tulemusi visuaalses vestluspõhises liideses.

Singapuris toimunud OpenAI juhtide tippkohtumisel vestles OpenAI ASEANi piirkonna go-to-market-juht Sidharth Sharma JioStari peaarhitekti Vijay Seshadriga sellest, kuidas lahendus umbes kaheksa nädalaga enam kui 15 keeles valmis sai ning mida saavad sellest õppida juhid, kes viivad AI demolahendusest tootmiskeskkonda.

Sisu avastamise viisid on viimase 25 aasta jooksul väga vähe arenenud. Viimane suur muutus oli soovituste kasutuselevõtt. Suur osa järgnenust on olnud sama idee edasiarendus.

Ent valik, mida vaadata, on väga isiklik. Inimene võib öelda: „Olen kurb. Näita mulle midagi, mis mu tuju tõstaks.“ Isegi sellises lihtsas palves on palju nüansse. Millist kurbust ta tunneb? Mis selle inimese tuju tavaliselt tõstab? Kas ta tahab komöödiat, midagi tuttavat ja lohutavat või midagi, mis viiks mõtted täielikult mujale?

Tavalisel soovitussüsteemil võib olla raske seda hetke mõista. Vestlus annab vaatajale võimaluse seda selgitada. Nimetame seda häält ja visuaali ühendavaks liideseks.

Hakkasime ideed läbi töötama oktoobris ja novembris ning veebruaris oli tulemas suur kriketiturniir. Meil oli umbes kaks kuud ja kaks väga erinevat sihtrühma: meelelahutuse vaatajad ja kriketifännid.

Meelelahutuse vaataja võib öelda: „On reede õhtu – üllata mind,“ või kirjeldada filmi, mille pealkirja ta ei tea. Spordivaatajad võivad tahta täpsemat ülevaadet, näiteks lööjate väljalangemistest, kuuepunktivisete asemel kuuepunktiste löökide seeriast või mängust, kus mängija kogus kindla arvu jookse. Kriketieksperdid võivad soovida statistikat iga pallingu kohta.

Need on sisu leidmisel väga erinevad ülesanded. Töötasime selle nimel, et ühendada meelelahutus, spordihetked ja üksikasjalik kriketistatistika väga lühikese ajaga üheks mitmekeelseks kasutuskogemuseks.

Juba väga varakult sõnastasime ülesande tasakaalu leidmisena kolme teguri vahel: täpsus, viivitus ja kulu. Iga tehniline otsus pidi kõiki kolme korraga tasakaalus hoidma.

Häälsuhtlus muutis selle eriti oluliseks. Üle 60% meie kasutajatest kasutab teksti asemel häält: inimesed eelistavad öelda, mida nad vaadata tahavad. Vastus peab sellegipoolest olema asjakohane ja kiire ning selle pakkumine ka suures mahus majanduslikult tasuv.

Näen selles kaht osa: hindamisraamistikku ja valideerimiskihti. Enne tootmiskeskkonda viimist peaks hindamisraamistik andma aluse muudatusteks. Tootmiskeskkonnas peaks tagasisideahel muutma klientide käitumise ja ilmnenud vead uuteks hindamistestideks.

Sellest võib kujuneda ennast võimendav tsükkel, kuid seda on äärmiselt raske õigesti tööle saada.

Valdkonnaeksperdid on hädavajalikud. Spordistatistika hindamistestide koostamisel tegime koostööd näiteks spordiajakirjade toimetajatega, kes mõistsid, mida tõsised fännid võiksid küsida. Alustada ei saa üksnes viibast; süsteemile tuleb algusest peale anda inimeste põhjalikud erialateadmised.

Üks asi, mis meil õnnestus, oli meeskonna valik. Alustasime väikese andmeteadlaste ja inseneride meeskonnaga ning selgelt sõnastatud probleemiga. OpenAI kliendimeeskondade juures töötavad insenerid aitasid meil veelgi täpsemalt välja selgitada need vähesed asjad, mis pidid kindlasti õnnestuma.

Esimene neist oli lahenduse ulatuse piiritlemine. Hääl- või tekstiliides võimaldab kasutajatel küsida peaaegu kõike, nii et alustasime otsusest, millele süsteem vastama ei peaks. Kaitsemeetmed olid esikohal.

Hindamistestide jaoks alustasime algandmestikust ja kasutasime mudeleid, et lisada sellele rohkem variatsioone. Lõime lahenduse, mida võiks praegu nimetada looja-kontrollija mustriks: üks mudel aitas otsustada, kuidas küsimusele vastata, teine aga toimis valideerijana – hindaja rollis LLM-ina, millel oli vastandlik eesmärk.

See tekitas järgmise küsimuse: kes testib hindajat? Valideerija kavandamine oli juba iseenesest hindamisülesanne. Codex aitas meeskonnal kiirendada näiteks hindamistestide loomist ja süsteemi uuendamist, kuid kiirem arendus ei kaotanud vajadust kaalutletud otsuste ja valideerimise järele.

Panustaksin varem mudeli tulemuslikkuse seiresse tootmiskeskkonnas.

Tavapärased taristumõõdikud, näiteks P99 viivitus, on endiselt olulised, kuid neist ei piisa. Tootmiskeskkonnas tuleb jälgida ka mudeli tulemuslikkust.

Esiteks on tehnoloogia võimaluste ja ettevõttesisese tegelikkuse vahel suur lõhe. Kui teie ettevõte pole iga uue tipptasemel mudeli väljakuulutamisega sammu pidanud, pole te üksi.

Teiseks keskenduge jätkuvalt tulemustele, mitte tegevusele. Nähtavat tegutsemist on lihtne pidada sisuliseks edasiminekuks, eriti kui ettevõtted panevad rõhku sisendmõõdikutele. Näiteks genereeritud koodiridade arv ei näita, kas lõite sisulist väärtust.

Lõpuks alahindab enamik ettevõtteid seda, kui palju on vaja inimeste oskusi ja iseseisvat tegutsemisvõimet. Pelgalt üldisest oskuste arendamise programmist ei piisa. Juhtidel on vaja inimesi, kes oskavad neid tööriistu kaalutletult rakendada. Andke heale insenerile selline tööriist nagu Codex ja mõju võib mitmekordistuda; kui aga puudub oskus tootmiskeskkonna süsteeme asjatundlikult valideerida, mitmekordistub ka risk.

Teie käes on rakett. Eriti tootmiskeskkonna süsteemides on vaja valideerimist ja kaitsemeetmeid ning juhtimine tuleb usaldada õigetele inimestele.