Мультиагентные системы сжигают в 4,7 раза больше токенов почти без пользы
Когда-то предприятия полагались на базовые функциональные вызовы для рутинной автоматизации, однако сегодня компании все чаще развертывают скоординированные группы агентов на базе языковых моделей для выполнения длинных ветвящихся стандартных операционных процедур (SOP) в корпоративных процессах. Руководители нередко внедряют подобные мультиагентные архитектуры, исходя из предположения об их абсолютном превосходстве, однако сопутствующие вычислительные расходы редко обеспечивают пропорциональную коммерческую отдачу.
Рост архитектурной сложности регулярно не оправдывает резкого увеличения затрат на вычисления и операционных задержек в масштабах предприятия. Исследовательская группа под руководством Субхрангшу Нанди, Хитеша Ароры, Юньфэя Бая, Удиты Патель, Ханны Квон, Вэй Чжана, Вэйаня Чэня, Хлои Жоци Ли, Альберто Сконфьенцы, Аюша Гояла, Ясмин Ли, Мин Сюна и Пратапа Рамачандры из Amazon совместно с Чирагом Шахом (Amazon и University of Washington) провела контролируемое исследование эффективности агентов на базе 13 корпоративных SOP. Зафиксировав модель claude-opus-4-8, задачи и рабочий инструментарий, исследователи протестировали четыре архитектурных подхода в рамках восьми экспериментальных сценариев: одиночного агента с вызовом функций, агента с расширенным набором навыков, централизованную мультиагентную оркестрацию и распределенный рой с диспетчеризацией (triage swarm). Чтобы гарантировать стабильность среды, бенчмарк SOP-Bench задействовал детерминированную имитацию инструментов, которая фиксирует результаты их вызова — таким образом, наблюдаемые различия отражают исключительно особенности архитектуры и проектирования навыков.
Реальная стоимость мультиагентной координации
Финансовый след механизмов оркестрации фундаментально меняет юнит-экономику бизнес-процессов. Исследователи установили, что каждый скоординированный сценарий расходует в 1,4–4,7 раза больше токенов и демонстрирует в 2,6–5,8 раза большую задержку по сравнению с одиночным агентом.
«Каждая скоординированная конфигурация (мультиагентная или с расширенным набором навыков) расходует в 1,4–4,7 раза больше токенов и требует в 2,6–5,8 раза больше времени по сравнению с одиночным агентом ради прироста, который обычно невелик и редко статистически значим, что делает одиночного агента наиболее эффективным базовым выбором»
Подобный перерасход ресурсов означает, что вызовы оркестратора, передача контекста между агентами и повторная пересылка данных формируют прямые операционные издержки, которые типовой прирост производительности компенсировать не способен. Реализация конкретных процедур наглядно обнажает этот экономический дисбаланс. Развертывание сложного роя агентов на подобных операционных участках сжигает бюджет и вычислительные мощности, одновременно снижая качество исполнения. Экономическая отдача от архитектуры напрямую зависит от конкретной SOP, а не является общим свойством платформы.
Качество реализации против архитектурной сложности
Сторонники усложнения систем утверждают, что избыточная архитектура неизбежна для комплексных корпоративных задач, невзирая на накладные расходы по токенам и времени отклика. Однако полученные данные показывают: структурная сложность сама по себе не решает проблему выполнения регламентов. Авторы ввели шкалу оценки качества описания навыков, сформировав сопоставимые базы качественных и некачественных навыков, и доказали: успех выполнения зависит от качества инженерной реализации компонентов, а не от схемы оркестратора.
«Правдоподобная мультиагентная реализация уступает одиночному агенту, однако ее целевой редизайн становится единственной конфигурацией, значительно превосходящей базовый уровень (75,6% против 67,4%)»
Качественно прописанные навыки поднимают успешность выполнения задач с 67,4% до 73,1%, тогда как при низком качестве этот показатель падает ниже базового уровня. Простой переход на мультиагентный фреймворк приводит к падению показателей относительно стандартного одиночного агента, в то время как точечная доработка архитектуры позволяет добиться более высокой результативности. Если типичная мультиагентная система отстает от базового одиночного агента до тех пор, пока инженеры не проведут глубокий рефакторинг рабочих процессов, могут ли корпоративные команды разработки оправдать 4,7-кратный рост расхода токенов и 5,8-кратный рост задержек на claude-opus-4-8 при автоматизации стандартных регламентов?
Что не сходится
Команда Amazon показала на контролируемом тесте, что распределенные рои на базе claude-opus-4-8 чаще всего просто сжигают вычислительный бюджет на бесконечную пересылку контекста между узлами. Архитектурная мода на сложные связки разбивается о суровую практику: без выверенной инженерной базы добавление новых участников в контур лишь умножает системные задержки. Красивые схемы оркестрации маскируют дыры в базовом проектировании навыков, вынуждая бизнес оплачивать лишние вызовы вместо реального результата.
Источник: arXiv cs.AI