JioStarin pääarkkitehti: tekoälyhaku 500 miljoonalle käyttäjälle

Executive Function -sarjassamme johtajat kertovat, miten he vievät muutosta eteenpäin tekoälyn avulla.

JioStar ylläpitää viihteen ja suorien urheilulähetysten alustoja, joita käyttää yli 500 miljoonaa kuluttajaa. Sen urheilulähetyksillä on ollut jopa 72,5 miljoonaa samanaikaista katsojaa. Tässä mittakaavassa tekoälyn on oltava nopeaa, luotettavaa ja valmista tuotantokäyttöön.

JioStar rakensi OpenAI-rajapinnan avulla JioHotstariin keskustelevan avustajan videoiden ja krikettitilastojen hakemiseen. Katsojat voivat hakea elokuvia ja sarjoja, menneiden otteluiden kohokohtia, suorien otteluiden tilanteita tai krikettitilastoja puhumalla luontevasti. Tulokset esitetään visuaalisesti osana keskustelua.

OpenAI:n Singaporessa järjestämässä Executive Summit -tapahtumassa ASEAN-alueen markkinoille saattamisesta vastaava johtaja Sidharth Sharma keskusteli JioStarin pääarkkitehdin Vijay Seshadrin kanssa. Aiheina olivat palvelun rakentaminen yli 15 kielelle noin kahdeksassa viikossa sekä opit johtajille, jotka vievät tekoälyä demosta tuotantoon.

Sisällön löytämisen tavat ovat kehittyneet hyvin vähän viimeisten 25 vuoden aikana. Suositukset olivat viimeisin suuri muutos. Suuri osa sen jälkeisestä kehityksestä on ollut saman idean muunnelmia.

Katsottavan valinta on kuitenkin hyvin henkilökohtaista. Joku saattaa sanoa: ”Minulla on surullinen olo. Näytä jotain, mikä piristää.” Jo tähän yksinkertaiseen pyyntöön sisältyy paljon vivahteita. Millaista suru on? Mikä tätä ihmistä yleensä piristää? Kaipaako hän komediaa, tuttua ja turvallista katsottavaa vai jotain, mikä vie ajatukset aivan muualle?

Perinteisen suosittelujärjestelmän voi olla vaikea ymmärtää tällaista tilannetta. Keskustelun avulla katsoja voi selittää tilanteensa. Kutsumme tätä puhetta ja visuaalisuutta yhdistäväksi käyttöliittymäksi.

Aloimme työstää konseptia loka–marraskuussa, ja suuri krikettiturnaus oli tulossa helmikuussa. Meillä oli noin kaksi kuukautta aikaa ja kaksi hyvin erilaista kohderyhmää: viihteen katsojat ja krikettifanit.

Viihteen katsoja saattaa sanoa: ”On perjantai-ilta – yllätä minut”, tai kuvailla elokuvaa, jonka nimeä ei tiedä. Urheilun katsojat saattavat haluta tarkempaa tietoa, kuten lyöjien palotilanteet, sarjan kuuden juoksun lyöntejä tai ottelun, jossa pelaaja teki tietyn määrän juoksuja. Kriketin asiantuntijat saattavat haluta tilastot jokaisesta syötöstä.

Nämä ovat hyvin erilaisia sisällön löytämiseen liittyviä haasteita. Työstimme hyvin lyhyessä ajassa ratkaisua, joka yhdistäisi viihteen, urheiluhetket ja yksityiskohtaiset krikettitilastot yhdeksi monikieliseksi palveluksi.

Määrittelimme jo varhain ongelman tasapainoiluksi tarkkuuden, viiveen ja kustannusten välillä. Jokaisessa teknisessä päätöksessä oli otettava kaikki kolme huomioon yhtä aikaa.

Puhekäyttö teki tästä erityisen tärkeää. Yli 60 % käyttäjistämme käyttää puhetta tekstin sijaan: ihmiset kertovat mieluummin ääneen, mitä haluavat katsoa. Vastauksen on silti oltava osuva ja nopea, ja sen tuottamisen on oltava taloudellisesti kestävää suuressa mittakaavassa.

Ajattelen sen koostuvan kahdesta osasta: arviointikehikosta ja validointikerroksesta. Ennen tuotantoon siirtymistä arviointikehikon pitäisi ohjata tarvittaviin muutoksiin. Tuotannossa palautesilmukan pitäisi tuottaa uusia arviointitestitapauksia asiakkaiden käyttäytymisen ja virhetilanteiden pohjalta.

Tästä voi syntyä itseään vahvistava kehityskierre, mutta sen saaminen toimimaan oikein on erittäin vaikeaa.

Alan asiantuntijat ovat välttämättömiä. Urheilutilastojen arviointitesteissä teimme yhteistyötä esimerkiksi urheilulehtien toimittajien kanssa. He ymmärsivät, mitä intohimoiset fanit saattaisivat kysyä. Alkuun ei pääse pelkällä kehotteella, vaan järjestelmän pohjaksi tarvitaan ihmisten syvällistä asiantuntemusta.

Tiimin kokoaminen oli yksi onnistumisistamme. Aloitimme pienellä datatieteilijöiden ja insinöörien tiimillä, jolla oli selkeästi määritelty ongelma ratkaistavanaan. OpenAI:n asiakastiimiin integroituvat insinöörit työskentelivät rinnallamme ja auttoivat tarkentamaan ne muutamat asiat, joissa meidän oli ehdottomasti onnistuttava.

Ensimmäinen oli toiminnan rajaus. Puhe- tai tekstikäyttöliittymässä käyttäjät voivat kysyä lähes mitä tahansa, joten aloitimme päättämällä, mihin järjestelmän ei pitäisi vastata. Suojarajat määriteltiin ensin.

Arviointitestejä varten lähdimme liikkeelle pohja-aineistosta, jota laajensimme ja monipuolistimme mallien avulla. Loimme toimintatavan, jota voisi nykyään kutsua tekijä–tarkistaja-malliksi: yksi malli auttoi määrittämään, miten kysymykseen vastataan, ja toinen toimi vastakkaista tavoitetta ajavana validoijana – suurena kielimallina tuomarin roolissa.

Tästä heräsi uusi kysymys: kuka testaa tuomarin? Validoijan suunnittelu oli jo itsessään arviointiongelma. Codex auttoi tiimiä nopeuttamaan esimerkiksi arviointitestitapausten luomista ja järjestelmän päivittämistä, mutta nopeampi kehitystyö ei poistanut harkinnan ja validoinnin tarvetta.

Panostaisin aiemmin mallin toimivuuden seurantaan tuotannossa.

Perinteiset infrastruktuurimittarit, kuten P99-viive, ovat edelleen tärkeitä, mutta ne eivät riitä. Myös mallin toimivuutta on seurattava tuotannossa.

Ensinnäkin teknologian mahdollisuuksien ja yritysten arkitodellisuuden välillä on suuri kuilu. Jos yrityksesi ei ole pysynyt jokaisen uuden edistyneen mallin julkistuksen tahdissa, et ole yksin.

Toiseksi kannattaa keskittyä jatkuvasti tuloksiin pelkän tekemisen sijaan. Näkyvä toimeliaisuus on helppo sekoittaa todelliseen edistymiseen etenkin silloin, kun yritykset painottavat panoksia mittaavia tunnuslukuja. Esimerkiksi tuotettujen koodirivien määrä ei kerro, syntyikö työstä merkittävää arvoa.

Lopuksi: useimmat yritykset aliarvioivat sen, kuinka paljon ihmisiltä vaaditaan osaamista ja kykyä toimia itsenäisesti. Pelkkä yleisluonteinen koulutusohjelma ei riitä. Johtajat tarvitsevat ihmisiä, jotka osaavat käyttää näitä työkaluja harkiten. Kun osaava insinööri saa käyttöönsä Codexin kaltaisen työkalun, työn vaikutus voi moninkertaistua. Ilman tuotantojärjestelmien validointiin tarvittavaa harkintakykyä myös riski moninkertaistuu.

Käsissäsi on raketti. Etenkin tuotantojärjestelmissä tarvitaan validointia ja suojarajoja, ja avaimet on annettava oikeille ihmisille.