Интеграция OpenAI в JioStar: LLM на 500 млн пользователей и пиковый трафик
Поиск и рекомендация контента на стриминговых платформах оставались практически неизменными на протяжении двадцати пяти лет, опираясь на статические рекомендательные движки. Компания JioStar отказалась от этого устаревшего рабочего процесса в пользу интерактивного разговорного ассистента, созданного непосредственно на базе OpenAI API для сервиса JioHotstar. Управляя развлекательными сервисами и трансляциями спортивных событий в прямом эфире на огромном масштабе, JioStar обслуживает более 500 млн пользователей и ранее фиксировала пиковую одновременную аудиторию в 72,5 млн зрителей. Развертывание AI-интерфейса на таком объеме трафика со всей очевидностью вскрыло операционное напряжение между генеративным взаимодействием и затратами на инфраструктуру.
Внедрение генеративных языковых моделей в высоконагруженные медиасистемы требует бескомпромиссного контроля над трехсторонним балансом между точностью, задержкой (latency) и стоимостью каждого запроса. Для операторов, оценивающих поиск на естественном языке, ставки остаются высокими: смогут ли стриминговые платформы выдержать вычислительные расходы на интерактивный инференс во время пиковых событий с десятками миллионов зрителей? Трансформация началась, когда Виджай Сешадри, главный архитектор JioStar, и Сидхарт Шарма, руководитель направления по выходу на рынок в регионе ASEAN в OpenAI, сформировали структуру развертывания этой системы более чем на 15 языках примерно за восемь недель.
Реалии голосового масштабирования
JioStar начала проектирование системы в октябре и ноябре, столкнувшись со жестким дедлайном, привязанным к крупному крикетному турниру в феврале. Команде разработки пришлось одновременно работать с двумя принципиально разными сегментами пользователей: зрителями общего развлекательного контента и аудиторией прямых трансляций матчей по крикету. Зритель развлекательных программ может отправить открытый запрос, например, попросить «удивить его в пятничный вечер» или описать фильм, не помня его названия, тогда как фанаты крикета требуют точных данных о событиях матча — таких как падение викетов или конкретные раны. Это различие создало критическое операционное препятствие: как базовая инфраструктура может поглощать подобныеheterogeneous разговорные нагрузки без выхода за рамки допустимого бюджета отклика?
«Более 60% наших пользователей используют голосовой ввод вместо текстового: людям проще сказать, что именно они хотят посмотреть».
Виджай Сешадри, главный архитектор JioStar, подчеркнул, что предпочтение голосового ввода полностью изменило всю техническую архитектуру, поскольку устная речь поступает непрерывно и требует мгновенной потоковой обработки. Эта пользовательская привычка напрямую определяет юнит-экономику приложения. JioStar требовалось гарантировать обработку каждого голосового запроса с минимальной задержкой, сохраняя при этом суммарные вычислительные расходы на устойчивом уровне в масштабе сотен миллионов пользовательских сессий.
Архитектура защиты и валидации
Распространенный аргумент в стриминговых операциях заключается в том, что традиционные рекомендательные движки уже эффективно решают задачу поиска контента без постоянных и высоких затрат на инференс моделей. Сешадри возразил, что классические алгоритмические рекомендации с трудом справляются с личным контекстом и эмоциональными нюансами — например, когда пользователь ищет фильм, чтобы поднять настроение. Разговорный интерфейс дает аудитории инструмент для выражения этих сложных предпочтений, комбинируя визуальный вывод с аудиозапросами.
Для управления этим развертыванием JioStar построила пайплайн разработки вокруг жесткой фреймворка оценки, объединенного с операционным слоем валидации. Инженеры OpenAI работали бок о бок с технической командой JioStar, чтобы определить границы проекта и внедрить необходимые защитные барьеры на раннем этапе. Для оценки команда применила паттерн «maker-checker» (создатель-проверяющий), в котором одна модель формулировала ответы, а вторичная модель выступала в роли независимого валидатора с противоположной задачей. Основу системы составила отраслевая экспертиза: JioStar привлекла редакторов спортивных журналов, понимающих специфику вопросов болельщиков, для оценки статистики крикета, в то время как Codex помогал генерировать тестовые сценарии и обновлять программный код.
Техническое руководство регулярно отслеживает традиционные метрики аптайма и задержки на уровне P99, одновременно контролируя скорость разработки по объему сгенерированного кода. Однако Сешадри отметил, что метрики сгенерированного кода ничего не говорят о реальной производительности продукта. В результате команды приходят к выводу: развертывание автоматизированных ассистентов на масштабе сотен миллионов пользователей по-прежнему зависит от экспертной работы человека, контролирующего программы, которые проверяют работы самих моделей.
Интеграция OpenAI API в инфраструктуру JioStar доказала возможность применения LLM на экстремальном трафике, однако экономика инференса в реальном времени требует от руководства жесткого контроля архитектуры. Автоматизация генерации кода и откликов не отменяет расходов на валидацию и человеческий контроль, превращая точность моделей в прямой фактор операционных затрат компании.
В чём смысл
Сжатый дедлайн примерно в восемь недель заставил инженеров JioStar переписать логику поиска перед крупным крикетным турниром, сменив привычные алгоритмы на прямой инференс нейросетей. По данным компании, развертывание охватило более 15 языков, причем живая речь потребовала непрерывной потоковой обработки вместо дешевых статических списков. Попытка заменить двадцать пять лет проверенной выдачи на голосовой интерфейс OpenAI упирается в простую математику нагрузки: при одновременном наплыве аудитории платить приходится за каждую секунду диалога. Пик в 72,5 млн зрителей проверяет на прочность не столько модели, сколько бюджет стриминга.
Источник: OpenAI Blog