Архитектот на JioStar за откривање со ВИ за 500 млн. корисници

Нашиот серијал „Извршна функција“ ги претставува гледиштата на лидерите што поттикнуваат трансформација преку ВИ.

JioStar управува со платформи за забава и спортски преноси во живо што ги користат над 500 милиони корисници, а има опслужено и до 72,5 милиони истовремени гледачи на спортски преноси во живо. При толкав обем, ВИ мора да биде брза, сигурна и подготвена за продукциска употреба.

Користејќи го API на OpenAI, JioStar вгради во JioHotstar асистент за откривање видеа и статистики за крикет преку разговор. Гледачите можат да зборуваат природно за да најдат филмови и серии, најважни моменти од минатото, моменти од натпревари во живо или статистики за крикет, а резултатите се прикажуваат визуелно, во рамки на разговорот.

На самитот за раководители на OpenAI во Сингапур, Сидарт Шарма, раководител за пласман на пазарот на OpenAI за ASEAN, разговараше со Виџај Сешадри, главен архитект во JioStar, за развојот на ова искуство на повеќе од 15 јазици за околу осум недели и за поуките за лидерите што ја пренесуваат ВИ од демонстрација во продукција.

Откривањето содржини многу малку се променило во изминатите 25 години. Препораките беа последната голема промена. Голем дел од она што следуваше беше само варијација на истата идеја.

Но изборот што да се гледа е длабоко личен. Некој може да каже: „Тажно ми е. Покажи ми нешто што ќе ме развесели.“ Дури и тоа едноставно барање содржи многу нијанси. За каква тага станува збор? Што обично го развеселува тоа лице? Дали сака комедија, нешто утешно или нешто што целосно ќе му ги одвлече мислите?

Традиционалниот систем за препораки можеби тешко ќе ја разбере таа моментална состојба. Разговорот му овозможува на гледачот да ја објасни. Ова го нарекуваме гласовно-визуелен интерфејс.

Почнавме да го разработуваме концептот во октомври и ноември, а во февруари нѐ очекуваше голем турнир во крикет. Имавме околу два месеца и две многу различни публики: гледачи на забавни содржини и љубители на крикет.

Гледач на забавни содржини може да каже: „Петок вечер е — изненади ме“, или да опише филм без да го знае неговиот наслов. Гледачите на спорт можеби сакаат поконкретни информации, како пад на викети, серија шестки или натпреварот на кој некој играч постигнал одреден број поени. Познавачите на крикет можеби сакаат статистики за секоја топка.

Тоа се многу различни предизвици при откривањето содржини. Работевме на обединување на забавните содржини, спортските моменти и деталните статистики за крикет во едно искуство, на повеќе јазици, за многу краток период.

Уште на почетокот го дефиниравме проблемот како компромис меѓу три фактори: точност, латентност и трошоци. Секоја инженерска одлука мораше истовремено да ги урамнотежи сите три.

Гласовната интеракција го правеше тоа особено важно. Повеќе од 60% од нашите корисници користат глас наместо текст: луѓето претпочитаат да кажат што сакаат да гледаат. Одговорот и понатаму мора да биде релевантен, брз и економски исплатлив при голем обем на користење.

Го разгледувам во два дела: рамка за евалуација и слој за валидација. Пред пуштањето во продукција, рамката за евалуација треба да поттикне промени. Во продукција, циклусот на повратни информации треба да ги претвора однесувањето на корисниците и неуспесите на системот во нови случаи за евалуација.

Тој циклус може самиот да се засилува, но исклучително е тешко правилно да се воспостави.

Експертите од соодветната област се неопходни. За евалуациите на спортските статистики работевме со луѓе како уредници на спортски списанија, кои разбираа што би можеле да прашаат посветените навивачи. Не можете да почнете само со промпт; треба да го поставите системот врз темелно човечко стручно знаење.

Една работа што ја направивме како што треба беше изборот на тимот. Почнавме со мал тим од научници за податоци и инженери, со јасно дефиниран проблем. Инженерите на OpenAI што работат директно со клиентите ни се придружија за попрецизно да ги утврдиме неколкуте работи што мораше да ги направиме беспрекорно.

Првата беше опсегот. Гласовниот или текстуалниот интерфејс им овозможува на корисниците да прашаат речиси сѐ, па почнавме со одлука на што системот не треба да одговара. Најпрво ги поставивме заштитните механизми.

За евалуациите почнавме со почетно множество податоци и користевме модели за да го прошириме со повеќе варијации. Создадовме нешто што денес би можеле да го наречете образец „создавач–проверувач“: еден модел помагаше да се утврди како да се одговори на прашањето, а друг служеше како валидатор — голем јазичен модел (LLM) во улога на судија — со спротивставена цел.

Тоа отвори друго прашање: кој го тестира судијата? Самото дизајнирање на валидаторот беше предизвик за евалуација. Codex му помогна на тимот да забрза задачи како генерирање случаи за евалуација и ажурирање на системот, но побрзиот развој не ја отстрани потребата од расудување и валидација.

Порано би вложил во следење на ефективноста на моделот во продукција.

Традиционалните инфраструктурни метрики, како латентноста P99, остануваат важни, но не се доволни. Треба да ја следите и ефективноста на моделот во продукција.

Прво, постои голем јаз меѓу можностите на технологијата и реалноста во компаниите. Ако вашата компанија не успеала да го следи темпото на секое претставување нов граничен модел, не сте единствените.

Второ, задржете го фокусот на резултатите, а не на активностите. Лесно е видливата активност да се помеша со вистински напредок, особено кога компаниите ги нагласуваат метриките за вложениот труд. Бројот на генерирани линии код, на пример, не ви кажува дали сте создале вистинска вредност.

На крај, повеќето компании ги потценуваат потребните човечки вештини и способноста за самостојно дејствување. Ова не смее да се сведе само на општа програма за развој на вештини. На лидерите им требаат луѓе што умеат да ги применуваат овие алатки со добро расудување. Дајте му на способен инженер алатка како Codex и ефектот може повеќекратно да се зголеми; без добро расудување при валидацијата на продукциските системи, повеќекратно се зголемува и ризикот.

Имате ракета во рацете. Особено кај продукциските системи, потребни ви се валидација и заштитни механизми, а клучевите треба да им ги доверите на вистинските луѓе.