Модерация на миллиард: как Авито урезала косты на инференс языковых моделей
Больше 20 млн объявлений в сутки проходят через автоматизированные системы Авито, задавая новую планку для масштабирования контентного контроля на крупных интернет-площадках. При таких объемах классические методы ручной модерации и громоздкие инфраструктурные контуры начинают сбоить под тяжестью операционных расходов и человеческого фактора. Разработчики ищут способы перенести логику проверки в языковые модели без ущерба для юнит-экономики и стабильности сервиса.
Как отметил DS-тимлид в Авито Руслан Сакаев, компания проверяет больше 20 млн объявлений в сутки, и более 95% проверок уже автоматизировано. Оставшийся поток направляется на дополнительную проверку, и с ним работают несколько сотен модераторов. Ручной разбор огромных массивов данных упирается в ограничения человеческого восприятия: регламенты достигают 200 страниц, а новому сотруднику требуется около полугода, чтобы выйти на продуктивное плато по качеству. Попытки перенести такие объемы текстов правил целиком в контекст языковой модели неизбежно ведут к падению скорости работы, деградации внимания и росту костов на инференс. При нагрузке в миллионы проверок в сутки каждая лишняя сотня токенов в контекстном окне или тяжелый поисковый контур вроде RAG умножаются на объемы трафика, превращаясь в существенные затраты на вычисления. Именно поэтому инженеры считают каждый миллисекундный задержки и каждый цент инфраструктурных расходов, балансируя между качеством фильтрации и жесткими ограничениями юнит-экономики.
Автоматизация правил через компактные промпты
Команда Авито сознательно отказалась от использования RAG и полных регламентов в контексте из-за рисков деградации внимания модели и лишних инфраструктурных издержек. Вместо построения отдельной поисковой системы инженеры перевели регламенты в компактные структурированные промпты, превратив их в оптимизируемый алгоритмически гиперпараметр.
Мы рассматривали три варианта: RAG, регламент целиком в контекст и промпт, собранный на основе регламента.
Такой подход позволяет удерживать низкую стоимость запросов и предсказуемую скорость работы без развертывания сложных вспомогательных контуров. Правила проверки формулируются в строгом формате, где на вход подаются заголовок, описание и фотографии, а модель возвращает однозначный ответ без дополнительных пояснений.
Выбор архитектуры под разные типы нарушений
Юридические риски и требования безопасности исключают отправку части данных во внешние облачные сервисы, замыкая контур внутри инфраструктуры компании. Из-за изменчивости правил и постоянного появления новых схем обхода постоянное дообучение моделей под каждое изменение оказывается неэффективным. Поэтому при массовом переводе проверок на LLM команда Авито берет из коробки 35B-модель Qwen3.5-35B-A3B в качестве основного рабочего инструмента.
Для сложных нарушений, где базовой производительности недостаточно, применяется дообучение собственной модели Avision-8B, которая показывает F1 76%. Компания продолжает тестировать новые архитектуры на своих задачах, оценивая их применимость для продуктовых нагрузок. Полученные результаты показывают, что гибридный подход с разделением задач между готовыми моделями среднего размера и узкоспециализированными дообученными версиями позволяет удерживать баланс между точностью и затратами на вычисления.
Анализ подобных кейсов показывает, что ключевым фактором успеха при работе с миллионными потоками данных становится отказ от универсальных тяжелых решений в пользу прагматичной инженерии. Когда речь идет о десятках миллионов ежедневных транзакций, экономика инференса диктует жесткие правила: архитектура должна окупаться на каждом отдельном запросе, а любые вспомогательные модули вроде векторных баз данных или поисковых систем оправданы только тогда, когда их стоимость полностью покрывается снижением процента ошибок.
Что было раньше
По данным компании, автоматические системы Авито уже забирают на себя свыше 95% всех проверок без привлечения внешних облаков. Удастся ли Авито удержать качество модерации на одной готовой Qwen3.5-35B-A3B и компактных промптах, когда новые схемы обхода потребуют переписать многостраничные регламенты?
Источник: Хабр ML