Aðalhönnuður JioStar um Ai-efnisleit fyrir 500 milljónir notenda

Í þáttaröðinni Executive Function kynnum við sjónarmið leiðtoga sem knýja fram umbreytingar með Ai.

JioStar rekur efnisveitur fyrir afþreyingu og beinar íþróttaútsendingar sem meira en 500 milljónir neytenda nota. Allt að 72,5 milljónir hafa horft samtímis á beinar íþróttaútsendingar hjá fyrirtækinu. Við slíkt umfang þarf Ai að vera hraðvirk, áreiðanleg og tilbúin til notkunar í rekstri.

Með API frá OpenAI byggði JioStar samtalsaðstoð inn í JioHotstar til að finna myndskeið og tölfræði um krikket. Áhorfendur geta talað eðlilega til að finna kvikmyndir og þætti, eftirminnileg augnablik úr fortíðinni, atvik úr leikjum í beinni eða tölfræði um krikket. Niðurstöðurnar birtast sjónrænt í samtalinu.

Á leiðtogafundi OpenAI í Singapúr ræddi Sidharth Sharma, yfirmaður markaðssóknar OpenAI á ASEAN-svæðinu, við Vijay Seshadri, aðalhönnuð kerfa hjá JioStar. Þeir ræddu hvernig lausnin var þróuð fyrir meira en 15 tungumál á um átta vikum og hvað stjórnendur geta lært af því þegar þeir færa Ai úr sýnilausnum yfir í rekstur.

Leiðir fólks til að finna efni hafa breyst sáralítið á síðustu 25 árum. Meðmælakerfi voru síðasta stóra breytingin. Margt af því sem á eftir kom hefur verið útfærsla á sömu hugmynd.

En það er afar persónulegt hvað fólk velur að horfa á. Einhver gæti sagt: „Mér líður illa. Sýndu mér eitthvað sem kemur mér í betra skap.“ Jafnvel þessi einfalda beiðni er margbrotin. Hvers konar vanlíðan er þetta? Hvað kemur viðkomandi yfirleitt í betra skap? Vill viðkomandi gamanefni, eitthvað notalegt eða eitthvað sem dreifir huganum alveg?

Hefðbundið meðmælakerfi gæti átt erfitt með að skilja þessar aðstæður. Samtal gefur áhorfandanum færi á að útskýra þær. Við köllum þetta radd- og myndviðmót.

Við byrjuðum að útfæra hugmyndina í október og nóvember, en stórt krikketmót var fram undan í febrúar. Við höfðum um tvo mánuði og tvo mjög ólíka áhorfendahópa: fólk sem horfir á afþreyingarefni og krikketáhugafólk.

Sá sem leitar að afþreyingu gæti sagt: „Það er föstudagskvöld – komdu mér á óvart,“ eða lýst kvikmynd án þess að vita titilinn. Íþróttaáhorfendur gætu viljað nákvæmari upplýsingar, til dæmis um útslætti, röð sex stiga högga eða leikinn þar sem leikmaður skoraði tiltekinn fjölda hlaupa. Krikketsérfræðingar gætu viljað tölfræði um hverja sendingu.

Þetta eru mjög ólíkar áskoranir við efnisleit. Við unnum að því að sameina afþreyingu, íþróttaatvik og ítarlega krikkettölfræði í eina lausn, á mörgum tungumálum og á mjög skömmum tíma.

Strax í upphafi skilgreindum við verkefnið sem leit að jafnvægi milli nákvæmni, svartíma og kostnaðar. Við hverja tæknilega ákvörðun þurfti að taka mið af öllum þremur þáttunum í einu.

Raddviðmótið gerði þetta sérstaklega mikilvægt. Meira en 60% notenda okkar nota rödd fremur en texta: fólk vill frekar segja hvað það vill horfa á. Svarið þarf samt að eiga við, berast hratt og vera hagkvæmt í svo umfangsmiklum rekstri.

Ég skipti því í tvo hluta: matsramma og sannprófunarlag. Áður en kerfið fer í rekstur ætti matsramminn að leiða til breytinga. Í rekstri ætti endurgjöf að skila hegðun viðskiptavina og tilvikum þar sem kerfið bregst inn í ný matspróf.

Þessi hringrás getur styrkt sig sjálf, en það er afar erfitt að láta hana virka rétt.

Sérfræðingar á viðkomandi sviði eru ómissandi. Við gerð matsprófa fyrir íþróttatölfræði unnum við meðal annars með ritstjórum íþróttatímarita sem skildu hvers einlægir aðdáendur kynnu að spyrja. Þú getur ekki byrjað með kvaðningu eina og sér; þú þarft að leggja djúpa sérþekkingu fólks til grundvallar kerfinu.

Eitt sem við gerðum rétt var að velja teymið. Við byrjuðum með lítið teymi gagnavísindafólks og verkfræðinga og skýrt afmarkað viðfangsefni. Verkfræðingar OpenAI sem vinna beint með viðskiptavinum unnu með okkur að því að greina nánar þá fáu þætti sem urðu að vera rétt útfærðir.

Fyrst þurfti að afmarka verkefnið. Radd- eða textaviðmót gerir notendum kleift að spyrja nánast að hverju sem er, svo við byrjuðum á að ákveða hverju kerfið ætti ekki að svara. Öryggisramminn kom fyrst.

Fyrir matsprófin byrjuðum við með lítið grunngagnasafn og notuðum líkön til að stækka það og auka fjölbreytnina. Við bjuggum til fyrirkomulag sem mætti nú kalla smið og yfirlesara: eitt líkan hjálpaði til við að ákvarða hvernig svara ætti spurningu en annað annaðist sannprófun – LLM í dómarahlutverki – með andstætt markmið.

Það vakti aðra spurningu: hver prófar dómarann? Hönnun sannprófunarkerfisins var sjálf matsverkefni. Codex hjálpaði teyminu að flýta fyrir verkefnum á borð við að útbúa matspróf og uppfæra kerfið, en hraðari þróun kom ekki í stað dómgreindar og sannprófunar.

Ég myndi verja tíma og fjármagni fyrr í eftirlit með árangri líkana í rekstri.

Hefðbundnir mælikvarðar á innviði, svo sem P99-svartími, eru enn mikilvægir en duga ekki einir og sér. Það þarf líka að fylgjast með árangri líkana í rekstri.

Í fyrsta lagi er mikið bil á milli þess sem tæknin getur gert og veruleikans innan fyrirtækis. Ef fyrirtækið þitt hefur ekki haldið í við hverja kynningu á nýju háþróuðu líkani er það ekki eitt á báti.

Í öðru lagi skaltu halda áfram að einbeita þér að árangri frekar en umsvifum. Það er auðvelt að rugla saman sýnilegum umsvifum og raunverulegum framförum, sérstaklega þegar fyrirtæki leggja áherslu á að mæla vinnuframlag. Fjöldi myndaðra kóðalína segir til dæmis ekki til um hvort þú hafir skapað raunveruleg verðmæti.

Að lokum vanmeta flest fyrirtæki þá hæfni og það sjálfstæði í verki sem starfsfólk þarf að búa yfir. Þetta má ekki vera bara almenn hæfniþjálfun. Stjórnendur þurfa fólk sem getur beitt þessum verkfærum af skynsemi. Fáðu hæfum verkfræðingi verkfæri eins og Codex og árangurinn getur margfaldast. En án dómgreindar til að sannprófa kerfi í rekstri margfaldast áhættan líka.

Þú ert með eldflaug í höndunum. Sérstaklega þegar kerfi eru í rekstri þarftu sannprófun og öryggisramma, og þú þarft að fela rétta fólkinu stjórnina.