Архитекта JioStar-а: AI претрага за 500 милиона корисника

Наш серијал Executive Function доноси виђења лидера који покрећу трансформацију уз помоћ AI.

JioStar управља платформама за забаву и спортске преносе уживо које користи више од 500 милиона људи, а спортске преносе на њима истовремено је пратило и до 72,5 милиона гледалаца. При толиком обиму, AI мора да буде брза, поуздана и спремна за продукцију.

Користећи OpenAI API, JioStar је у JioHotstar уградио асистента за проналажење видео-садржаја и статистике крикета кроз разговор. Гледаоци могу природним говором да пронађу филмове и серије, најзанимљивије тренутке из ранијих мечева, детаље са мечева који су у току или статистику крикета, а резултати им се приказују визуелно, у оквиру разговора.

На самиту компаније OpenAI за руководиоце у Сингапуру, Сидарт Шарма, руководилац припреме за излазак на тржиште за регион ASEAN у компанији OpenAI, разговарао је са Виџајем Сешадријем, главним архитектом компаније JioStar, о развоју овог решења за више од 15 језика за око осам недеља и поукама за лидере који AI уводе у продукцију након демонстрационе фазе.

Начин проналажења садржаја врло мало се променио у протеклих 25 година. Препоруке су биле последња велика промена. Већина онога што је уследило била је само варијација исте идеје.

Али избор онога што ћемо гледати дубоко је личан. Неко може да каже: „Нешто сам тужан. Покажи ми нешто што ће ме орасположити.“ Чак и такав једноставан захтев садржи много нијанси. О каквој тузи је реч? Шта ту особу обично орасположи? Да ли жели комедију, нешто што ће јој пружити утеху или нешто што ће јој потпуно скренути мисли?

Традиционални систем препорука можда тешко може да разуме тај тренутак. Разговор омогућава гледаоцу да га објасни. То називамо гласовно-визуелним интерфејсом.

Почели смо да разрађујемо концепт у октобру и новембру, а велики турнир у крикету био је заказан за фебруар. Имали смо отприлике два месеца и две веома различите публике: гледаоце забавног садржаја и љубитеље крикета.

Гледалац забавног садржаја могао би да каже: „Петак је вече — изненади ме“, или да опише филм чији наслов не зна. Гледаоци спорта можда желе конкретније информације, попут пада викета, низа шестица или меча у ком је играч освојио одређени број поена. Познаваоци крикета можда желе статистику за сваку бачену лоптицу.

То су веома различити изазови у проналажењу садржаја. Радили смо на томе да у веома кратком року објединимо забаву, спортске тренутке и детаљну статистику крикета у једно решење, на више језика.

Већ на почетку смо проблем поставили као тражење равнотеже између тачности, времена одзива и трошкова. Свака инжењерска одлука морала је истовремено да уравнотежи сва три фактора.

Гласовна интеракција чинила је то нарочито важним. Више од 60% наших корисника користи глас уместо текста: људи радије изговоре шта желе да гледају. Одговор и даље мора да буде релевантан, брз и економски исплатив при великом обиму коришћења.

Посматрам га кроз два дела: оквир за евалуацију и слој за валидацију. Пре увођења у продукцију, оквир за евалуацију треба да укаже на потребне измене. У продукцији, кроз повратну спрегу треба претварати понашање корисника и грешке у нове тест-примере за евалуацију.

Тај циклус може сам себе да подстиче, али га је изузетно тешко правилно успоставити.

Стручњаци из дате области су неопходни. За евалуације спортске статистике сарађивали смо, између осталог, са уредницима спортских часописа који су разумели шта би посвећени навијачи могли да питају. Не можете почети само од инструкције; у темеље система морате уградити дубоко стручно знање људи.

Једна од ствари које смо добро урадили био је избор тима. Почели смо са малим тимом стручњака за науку о подацима и инжењера, окупљених око јасно дефинисаног проблема. Инжењери компаније OpenAI задужени за директну сарадњу са клијентима радили су заједно с нама како бисмо додатно издвојили неколико ствари које смо апсолутно морали да урадимо како треба.

Прва је била обухват система. Гласовни или текстуални интерфејс омогућава корисницима да питају готово било шта, па смо најпре одлучили на шта систем не треба да одговара. Заштитне мере биле су на првом месту.

За евалуације смо кренули од почетног скупа података и користили моделе да га проширимо разноврснијим примерима. Направили смо оно што бисте данас могли назвати обрасцем „аутор–контролор“: један модел је помагао да се одреди како одговорити на питање, док је други проверавао одговор — велики језички модел (LLM) у улози судије — са супротстављеним циљем.

То је отворило још једно питање: ко тестира судију? Осмишљавање механизма за валидацију и само је било изазов евалуације. Codex је помогао тиму да убрза послове попут генерисања тест-примера за евалуацију и ажурирања система, али бржи развој није укинуо потребу за стручним расуђивањем и валидацијом.

Раније бих уложио у праћење делотворности модела у продукцији.

Традиционални инфраструктурни показатељи, попут времена одзива на 99. перцентилу (P99), и даље су важни, али нису довољни. Морате пратити и делотворност модела у продукцији.

Прво, постоји велики јаз између могућности технологије и стварног стања у предузећу. Ако ваша компанија није испратила свако представљање граничних модела, нисте једини.

Друго, останите усредсређени на резултате, а не на активности. Лако је видљиву активност погрешно протумачити као стварни напредак, нарочито када компаније стављају нагласак на показатеље уложеног рада. Број генерисаних редова кода, на пример, не говори вам да ли сте створили стварну вредност.

На крају, већина предузећа потцењује колико су људима потребни знање, вештине и способност самосталног деловања. Ово се не може свести на општи програм обуке. Лидерима су потребни људи који умеју да користе ове алате уз добро расуђивање. Дајте врсном инжењеру алат попут Codex-а и његов учинак може се вишеструко увећати; без расуђивања потребног за валидацију продукционих система, вишеструко расте и ризик.

У рукама имате ракету. Нарочито у продукционим системима, потребни су вам валидација и заштитне мере, а управљање морате поверити правим људима.