Может ли самообучение агентов снизить расходы на корпоративный инференс?

В корпоративных сценариях конфигурация ARISE-Teacher, использующая Claude Opus 4.6 для поиска причин сбоев и консолидации правил, обеспечивает прирост точности на 10,9 процентного пункта по сравнению с базовым уровнем на SOP-Bench и на 5,8 процентного пункта на τ2-bench. На фоне быстрой смены базовых моделей и регулярного обновления корпоративных регламентов расходы бизнеса на вычислительные мощности растут из-за постоянного раздувания контекстных окон. Адаптация агентов к меняющимся бизнес-процессам обычно вынуждает инженерные команды непрерывно переписывать промпты, дообучать базовые модели или накапливать громоздкие журналы инструкций. Ключевая операционная проблема заключается в том, чтобы наладить автоматическое исправление ошибок без потери контроля над регламентами и бюджетом.
Разработанный механизм разрешает эту дилемму за счет структурированного управления памятью вместо непрерывного файнтюнинга моделей. Исследователи Amazon Jiangyun Zhang, Zhou Tang, Kristen Surrao, Zhiyu Chen, Albert Guan, Tor Nitayanont, Yupei Zhang, Roopali Singh, Yunkai Xiao, Shreya Pandit, Julia Huang, Shayan Ali Akbar, Erwin Cornejo, Yuan Li и Yi Zhang представили фреймворк ARISE (Agent Refinement through Iterative Self-Evaluation). Архитектура формирует саморазвивающийся цикл памяти: агент корректирует поведение на основе прошлых операционных ошибок без изменения весов модели, внешних инструментов или базовой логики рабочих процессов. Такое решение фиксирует инфраструктурные расходы, предотвращая рост промптов на типовых задачах и системно устраняя повторяющиеся сбои исполнения.
Двухуровневый контур валидации памяти
Как этот фреймворк обновляет правила выполнения задач, исключая неконтролируемый дрейф логики?
Офлайн-контур обратной связи перехватывает и анализирует сбои, используя историю выполнения шагов, ответы агента и результаты завершенных задач. Если агент не справляется с заданием, модуль атрибуции сопоставляет след выполнения с ожидаемым результатом или диагностическими данными. ARISE задействует саму рабочую модель либо внешнюю модель-учителя, чтобы выявить причину ошибки и сформировать конкретные, изолированные исправления.
«ARISE сохраняет корректировки в виде извлекаемой микропамяти, объединяет их в макроправила и подтверждает обновление только при росте точности на контрольной выборке».
Трансформируя сырые логи сбоев в четкие инструкции, система сначала записывает точечные правки в микропамять, а затем синтезирует их в макроправила. Фильтр валидации на отложенной выборке одобряет внедрение правила только в том случае, если точность на тестовом срезе возрастает. Если предложенное макроправило не повышает метрики бенчмарка или ухудшает обработку редких граничных сценариев, фильтр полностью отклоняет его. Подобный барьер исключает попадание непроверенных процедурных изменений в производственную среду.
Количественная оптимизация инференса
Многие технические руководители полагают, что повышение точности агентов неизбежно увеличивает потребление токенов и стоимость каждого запроса. На практике ARISE-Teacher сокращает число вызовов модели на 4,0% и снижает объем выходных токенов на 5,2%, удерживая общие расходы на задачу на уровне -1,0%. ARISE-Teacher также опережает GEPA на 4,5 процентного пункта на бенчмарке τ2-bench и на 1,4 процентного пункта на SOP-Bench. Поскольку работающий агент обращается к структурированным макроправилам и точечным микроисправлениям вместо передачи громоздкой истории диалога, модель принимает решения за меньшее количество шагов.
Компании, не имеющие доступа к крупным моделям-учителям, могут развернуть архитектуру на базе основной рабочей модели. В режиме ARISE-Self, где модель сама выступает атрибутором ошибок, прирост на SOP-Bench составляет 10,0 процентного пункта. Такая конфигурация самоатрибуции позволяет отказаться от сторонних моделей-учителей и сохранить строгое соблюдение регламентов в разнородных корпоративных задачах.
Для аудита текущих расходов на агентов изучите производственные логи за последний месяц и выделите повторяющиеся процедурные сбои. Пропустите эти данные через офлайн-фильтр самоатрибуции, протестируйте сформированные правила на валидационной выборке и только после этого вносите обновленные инструкции в боевые промпты.
Почему это важно
Рост точности корпоративных агентов традиционно раздувает бюджет на вычисления, но связка ARISE-Teacher снижает объем выходных токенов на 5,2%. Подобный разрыв объясняется тем, что система переводит логи сбоев в сжатые правила вместо постоянного прогона раздутого контекста. Если в середине августа простой слой памяти поднимал долю успешных решений без правки параметров модели, то теперь архитектура Amazon дополнительно фильтрует сами инструкции через валидационную выборку. Вместо дорогой переобучающей гонки бизнес получает работающий способ экономить на инференсе через отсечение лишних процедурных шагов.
Наши материалы: Долговременная память повысила успех ИИ-агентов на 90% (14 августа); Долгая память для UI-агентов снижает расходы токенов (8 сентября).
Источник: arXiv cs.AI