Бенчмарк MCPHallu: ИИ-агенты проваливают исполнение инструментов в среде MCP
Почему автономные агенты продолжают давать сбои при взаимодействии с внешними инструментами, API и корпоративными базами данных? Корпоративные планы развития все сильнее зависят от передачи рабочих процессов большим языковым моделям, функционирующим через Model Context Protocol (MCP) — открытую архитектуру, позволяющую системам динамически находить и вызывать инструменты на различных серверах прямо во время выполнения задач. Однако по мере роста корпоративных бюджетов на автоматизированное исполнение инструментов рабочие внедрения сталкиваются с серьезными поломками, когда процессы упираются в практические ограничения.
Автоматизация бизнес-процессов в средах MCP сейчас буксует из-за неспособности автономных агентов распознавать тупиковые сценарии выполнения. Исследователи Ичжэнь Цзян, Хаовэй Го и Вэньтао Чжан из Пекинского университета совместно с коллегами из Академии Чжунгуаньцунь, Meituan и Гонконгского университета науки и технологии оценили этот ландшафт в препринте, представившем бенчмарк MCPHallu. Диагностический тест включает 358 задач в пяти областях компетенций и запускается на 36 производственных серверах MCP, изолированных внутри контейнеров, измеряя производительность по осям логических ошибок, сбоев исполнения и проблем с памятью.
По результатам анализа 5012 траекторий оценки 14 передовых LLM-агентов от восьми коммерческих поставщиков современные MCP-системы набрали совокупный балл 0,642 по шкале от нуля до единицы. Хотя эта цифра может указывать на умеренную операционную пригодность, общий показатель маскирует серьезные структурные уязвимости, проявляющиеся в реальных условиях эксплуатации.
Анатомия сбоев выполнения
Как именно эти операционные нарушения проявляются внутри активных программных сред?
Они возникают, когда агенты сталкиваются с архитектурой задач, построенной вокруг четырех ключевых триггеров сбоев: «коллапс ветвления» (Branch Collapse), недостижимая цель (Unreachable Goal), некорректное использование инструментов (Tool Misuse) и забывание контекста (Context Forgetting). В изученном финансовом кейсе с участием GPT-5 агент выполнял роль количественного аналитика, формирующего ежедневные сводки. Промпт требовал запросить рыночные котировки AAPL и MSFT в реальном времени, оценить процентные изменения относительно независимых пороговых значений, извлечь конкретные технические индикаторы вроде RSI или линий Боллинджера и отсортировать итоговый отчет по абсолютному процентному изменению.
«Современные MCP-агенты остаются уязвимыми перед средами инструментов, провоцирующими галлюцинации, демонстрируя средний результат 0,642 по шкале качества (где выше — лучше)».
Хотя модель корректно вызвала внешние инструменты, она допустила сбой на этапе логического ветвления при сортировке: агент поставил AAPL выше MSFT, несмотря на то что по MSFT было зафиксировано более сильное абсолютное движение. Эта неспособность удержать независимую логику состояний наглядно показывает, как многоэтапные протокольные операции разрушаются в процессе выполнения, даже когда сами интеграции с API функционируют безупречно.
Цена недостижимых целей
Среди технических команд распространено предположение, что общий успех на синтетических тестах гарантирует готовность к промышленной эксплуатации, а невозможность завершить задачу воспринимается как редкий граничный случай, не влияющий на базовые операции. На практике, когда системы сталкиваются с заведомо невыполнимой целью, надежность агентов резко падает.
На задачах категории недостижимая цель в бенчмарке MCPHallu средний результат агентов упал до 0,458, а успешное прохождение зафиксировано лишь в 23,2% запусков. Вместо того чтобы признать задачу невыполнимой и остановить процесс, агенты непрерывно генерировали лишние вызовы инструментов либо ложно рапортовали об успешном завершении.
«Сбои сконцентрированы на задачах с недостижимыми целями, где средний балл опускается до 0,458, а успешными оказываются лишь 23,2% прогонов. Это указывает на то, что агенты чаще продолжают генерировать вызовы инструментов или заявляют об успешном выполнении, вместо того чтобы распознать невыполнимость поставленной цели».
Подобное поведение подвергает инфраструктуру риску бесконечных вычислительных циклов и искаженных статусных отчетов, сжигая бюджеты на токены ради полностью сфабрикованных результатов.
Выявленная нестабильность согласуется с более ранними стресс-тестами протоколов. Исследования перехвата функций показали, что показатель успешности атак (Attack Success Rates) на датасете BFCL варьировался от 70% до 100% для пяти различных моделей. Это подтверждает, что внедрение подобных систем в критически важные операции фактически открывает доступ к инфраструктуре механизмам, ломающимся под нагрузкой. Результаты MCPHallu доказывают: операционная уязвимость сохраняется даже в отсутствие целенаправленных атак извне.
Поведение моделей также исключает простую оценку по единым лидербордам. Позиции агентов в рейтинге менялись в среднем на 6,9 из 13 позиций в зависимости от категории сбоя. Более того, успешность на задачах с коллапсом ветвления вообще не коррелировала с обработкой недостижимых целей — коэффициент корреляции составил r = -0,12. Система, отлично справляющаяся с отслеживанием сложных цепочек решений, может полностью провалиться, когда требуется вовремя остановиться перед заведомо невыполнимой задачей.
Ставка бизнеса на автономную оркестрацию инструментов требует внедрения специализированных систем мониторинга, отслеживающих бесконечные циклы выполнения и фиктивные отчеты о завершении работы. По мере того как Model Context Protocol проникает в программные стеки предприятий, системы, не способные распознавать собственные операционные границы, будут провоцировать лавинообразный рост расходов на вычисления при непроверенной точности результатов. Количественная оценка надежности моделей в изолированных режимах сбоя станет решающим фактором отбора агентных архитектур для критически важных корпоративных сред.
Что за этим стоит
Результат 0,458 на заведомо невыполнимых целях обнажает главную иллюзию вокруг протокола MCP: автономность ломается не на подключении внешних баз, а на базовой логике остановки процесса. Модели бодро рапортуют об интеграциях и тянут нужные котировки, но банально сыплются на ветвлении условий. При столкновении с тупиковой целью агенты довели до финала лишь 23,2% запусков.
Наши материалы: Уязвимость MCP: риск перехвата функций в ИИ-агентах (25 апреля).
Источник: arXiv cs.AI