Как новый метод SCOPE сокращает затраты на вычисления ИИ-агентов?
Успешные траектории содержат 29.8% ошибочных шагов, в то время как неудачные включают 42.4% правильных шагов. Этот резкий контраст подрывает экономическую жизнеспособность стандартных подходов с подкреплением, которые оценивают ИИ-агентов исключительно по их конечным результатам. Когда инженерные команды развертывают большие языковые модели для автоматизации сложных многошаговых рабочих процессов, стратегии слепой оптимизации в итоге накладывают штрафы на валидные промежуточные решения или вознаграждают случайные успехи. Возникающие накладные расходы на вычисления напрямую увеличивают операционные затраты без гарантии надежности выполнения задач.
Как отмечают исследователи Цилий Лю и его коллеги из Университета Чжэцзян, а также Лей Лю и Юэ Шэнь из Ant Group в своем недавнем анализе, обучение с подкреплением на основе результатов обеспечивает ограниченный контроль над промежуточными решениями. Традиционные парадигмы обучения превращают завершение задачи в бинарное вознаграждение, распределяя баллы или штрафы по всей последовательности вызовов инструментов и взаимодействий с окружающей средой. Это структурное слепое пятно порождает несоответствие между результатами и шагами, при котором система не может изолировать, какие конкретные действия привели агента к цели или сбили его с пути. В результате инженерные команды тратят ценные вычислительные циклы на обучение моделей на зашумленных данных, где правильная промежуточная логика подавляется неудачным финальным счетом.
Чтобы преодолеть эту неэффективность, исследовательская группа разработала SCOPE — фреймворк для выборочной критической пошаговой он-полис дистилляции (Selective Critical-Step On-Policy Self-Distillation). Архитектура устраняет несоответствие, наделяя политику возможностями локализации ошибок и генерации навыков посредством легкой контролируемой инициализации. Во время онлайн-обучения с подкреплением система анализирует собственные траектории, чтобы изолировать конкретные операционные сбои, вместо того чтобы слепо просматривать всю последовательность. Как только ошибочный шаг идентифицирован, политика генерирует корректирующие навыки для конкретного шага и применяет руководство по дистилляции исключительно в этих точных точках принятия решений. Ограниченный коэффициент знаковой дистилляции стабилизирует эти вспомогательные обновления, сохраняя при этом как динамику подкрепления, так и подавления.
SCOPE наделяет политику возможностями локализации ошибок и генерации навыков посредством легкой контролируемой инициализации, анализируя собственные траектории для дистилляции руководства исключительно на выбранных шагах с ошибками.
Это целевое вмешательство предотвращает внедрение системой нецелевых сигналов в несвязанные части цепочки выполнения. Когда инженеры применяют навыки на уровне траектории ко всем шагам без разбора, модели часто получают противоречивые сигналы оптимизации, которые ухудшают производительность на последующих задачах. Ограничивая корректирующую обратную связь локализованными границами ошибок, цикл обучения сохраняет валидные промежуточные действия и отсекает персистентные ошибки. Архитектура также включает в себя парное вознаграждение по длине относительно успеха, разработанное для стимулирования эффективного выполнения задач путем штрафования раздутых последовательностей действий.
Метрики производительности демонстрируют четкий рост эффективности при различных масштабах моделей и бенчмарк-окружениях. На базе Qwen2.5-3B фреймворк SCOPE достигает показателей успешности в 97.7% и 85.2%, превосходя предыдущие базовые методы с существенным отрывом. На более крупных инфраструктурных конфигурациях финансовый и операционный эффект становится еще более выраженным. На модели Qwen3-32B решение SCOPE обеспечивает успешность в заданиях ALFWorld на уровне 99.2% по сравнению с 85.2% у метода GRPO, одновременно сокращая среднее число взаимодействий на 65.0%. Эти показатели показывают, что устранение избыточных шагов исследования напрямую сокращает общий объем вычислений, необходимый для развертывания агентов.
Прагматичная оптимизация инфраструктуры теперь зависит от отказа от грубых вознаграждений на уровне результатов в пользу точечных, учитывающих каждый шаг механизмов надзора. По мере масштабирования автономных систем в корпоративных рабочих процессах архитектуры, расточительно расходующие вычислительные ресурсы на шум проб и ошибок, столкнутся с серьезными экономическими трудностями. Фреймворки точного обучения указывают на более бережливую операционную модель, в которой затраты на инференс напрямую соотносятся с верифицированным логическим прогрессом.
Как это выглядит рядом
Агент умудряется дойти до финиша с пачкой в 29,8% явных ошибок по дороге, а в полностью проваленных прогонах выдает 42,4% абсолютно верных действий. Оценивать всю цепочку вызовов только по бинарной галочке в конце — это верный способ спустить бюджет на обучение модели случайным паттернам вместо рабочей логики. Точечная дистилляция SCOPE изолирует конкретный сбойный шаг, не размазывая градиенты по валидным кускам траектории (и не заставляя жечь вычисления впустую). Сможет ли локализация единичных сбоев удержать планку успеха 97,7% на Qwen2.5-3B, когда цепочки рассуждений выйдут за рамки тестовых сред на реальную инфраструктуру Ant Group?
Источник: arXiv cs.AI