Экономика инференса: браузер Opera переносит расчеты на устройства пользователей
«Разработчики могут добавлять ИИ-функции без развертывания собственной инфраструктуры и оплаты каждого запроса», — отмечается в официальном заявлении разработчиков браузера Opera.
Разработчики браузера Opera внедрили новый веб-стандарт WebAI, позволяющий запускать модели искусственного интеллекта локально, без обращения к облачным серверам. Переход на клиентские вычисления полностью снимает финансовую нагрузку по содержанию больших языковых моделей с баланса технологических компаний. Перенос инференса на устройства пользователей избавляет создателей ПО от регулярных операционных расходов, связанных с вызовами API и поддержкой облачной инфраструктуры. Для разработчиков приложений такое архитектурное решение устраняет базовую переменную стоимость, сопутствующую внедрению функций искусственного интеллекта. Отказ от серверных вычислений меняет юнит-экономику продуктов, которые ранее несли значительные расходы на облачные мощности при каждом запросе на генерацию или классификацию текста. Передавая вычисления на сторону клиента, компании жертвуют стабильностью облачной производительности ради нулевых маржинальных затрат на инфраструктуру.
Перенос инфраструктурных расходов на клиентское железо
Новый стандарт WebAI оптимизирован для работы с различными моделями. В качестве основного примера Opera выделяет Gemma от Google — модель с открытыми весами, выпущенную два года назад. На компьютерах Mac стандарт также поддерживает встроенную системную модель Apple. В компании подчеркивают, что WebAI не привязан к конкретным проприетарным решениям и поддерживает широкий спектр систем с открытыми весами. Технологическое решение выросло из предыдущих разработок Opera по интеграции локальных моделей в десктопные версии браузера.
Модели с открытыми весами обеспечивают разработчиков конкретными операционными преимуществами. Как правило, они доступны для скачивания и развертывания бесплатно, а открытый доступ к весам предоставляет командам больший контроль над кастомизацией. Однако, в отличие от полностью открытого программного обеспечения, на такие модели по-прежнему распространяются определенные лицензионные ограничения.
Конфиденциальность выступает еще одним ключевым вектором внедрения технологии. Пользователи получают доступ к функциям ИИ без передачи персональных данных на внешние корпоративные серверы и без оплаты облачных подписок. Компания запускает новые возможности в качестве предварительной версии в своем флагманском браузере Opera One. В дальнейшем стандарт планируется интегрировать в Opera GX, ориентированный на геймеров и стримеров, а также в Opera Neon, использующий автономных агентов для выполнения задач. Функция требует обязательной активации пользователем вручную.
«Пользователям не нужны подписки на ИИ, данные остаются на их собственных устройствах, а контроль над искусственным интеллектом на компьютере сохраняется за ними», — заявляют в компании.
По информации Opera, WebAI позволяет клиентским устройствам самостоятельно обрабатывать задачи генерации текста, классификации контента и семантического анализа непосредственно в браузере. Цифровая приватность стала ключевым фактором конкурентной борьбы по мере расширения доступа ИИ-ассистентов к конфиденциальным данным пользователей. Традиционные облачные чат-боты требуют передачи массивов информации без прозрачных гарантий ее хранения и обработки. Локальный запуск снижает эти риски за счет локализации обработки данных на физическом устройстве. Хотя такой подход не устраняет все уязвимости, он возвращает управление данными на сторону пользователя. Эту стратегию позиционирования с упором на приватность компания использует как ключевое конкурентное преимущество на протяжении многих лет.
Аппаратное узкое место и предсказуемость производительности
Перенос вычислительных нагрузок на клиентскую сторону сопряжен с прямыми компромиссами. Локальный запуск моделей увеличивает потребление ресурсов устройства, что напрямую влияет на общую производительность системы. В компании признают, что скорость выполнения и надежность будут полностью зависеть от аппаратной конфигурации конкретного пользователя.
Избавление от серверных расходов решает проблему маржинальности для вендора ПО, но привязывает производительность приложений к фрагментированному парку пользовательского оборудования. Компании, внедряющие стандарт, меняют предсказуемую задержку в облаке и централизованный контроль вычислений на переменную скорость работы на разнообразных клиентских устройствах.
Opera стремится обойти структуру регулярных затрат на API за счет полного переложения процесса вычислений на процессор и оперативную память пользователя.
Что это значит
Кто на самом деле оплачивает работу локальных нейросетей? Браузер Opera изящно обнуляет свои расходы на серверную инфраструктуру и API, отдавая задачи генерации текста и семантического анализа процессорам пользовательских компьютеров под соусом полной приватности. За нулевые маржинальные издержки создателей софта расплачиваются владельцы Mac и ПК, чье железо берет на себя все ресурсоемкие вычисления открытых моделей вроде Google Gemma. Экономия облачных бюджетов Opera просто переехала в счета пользователей за электроэнергию и нагрузку на их собственные процессоры.
Источник: TechCrunch