Слепые зоны ИИ-агентов: почему бизнес не может расследовать взлом
Как расследовать инцидент безопасности автономного ИИ-агента, если стандартные журналы сервера вообще не зафиксировали факт внешней атаки? Руководители и инженеры привыкли опираться на сетевой периметр и журналы веб-серверов. Однако архитектура языковых моделей стирает границу между рабочими данными и командами управления. В октябре исследователи из Университета Сунь Ятсена и Гонконгского университета науки и технологий опубликовали на платформе arXiv работу AgentTracer, в которой детально разобрали этот архитектурный тупик.
Суть проблемы кроется в обработке входящей информации: агент помещает весь прочитанный контент в единый контекст модели. ИИ-система не разделяет источники фраз по уровню доверия, охотно реагируя на свежие формулировки. Если по заданию пользователя агент открывает сторонний веб-ресурс, скрытая на странице вредоносная инструкция воспринимается моделью как легитимная часть задачи. Из-за этого деструктивные действия со стороны выглядят как абсолютно нормальный рабочий процесс. В исследовании AgentTracer авторы смоделировали ситуацию, где пользователь поручил системе скачать релиз и выгрузить его в репозиторий GitHub. На странице находилась спрятанная команда: агент не только скачал архив, но попутно зарегистрировал чужой SSH-ключ, проверил почту и стер рабочую память. Традиционный аудит видит лишь штатную очистку памяти, лишенную подозрительных параметров.
Анатомия скрытых инструкций в обход серверов
Почему сетевые экраны и журналы входящего трафика пропускают подобные вмешательства? Ответ заключается в особенностях клиентских веб-стандартов. В учебном сценарии из блога корпорации Microsoft, где разбирается техника под названием HashJack, атакующий текст помещается в URL после символа #. Этот фрагмент адреса обрабатывается исключительно на стороне клиента и физически не отправляется на веб-сервер. Когда сервис пересказа веб-страниц отправляет полный URL в промпт модели, серверные журналы сайта не содержат ни малейшего следа инъекции.
Текст во фрагменте веб-адреса после знака решетки обрабатывается браузером и не попадает в сетевые логи сервера, оставляя инженеров без следов вредоносного вмешательства.
Подобная механика использовалась еще в одном из ранних инцидентов с Bing Chat, когда скрытые инструкции на странице заставляли ассистента запросить картинку со стороннего сервера и передать данные беседы прямо в параметрах ссылки. Внешне утечка выглядела как обычное отображение графики. Более современный пример демонстрирует уязвимость CoSnitch в Copilot Personal под идентификатором CVE-2026-24301. Специально подготовленная ссылка запускала запрос внутри авторизованной сессии жертвы без дополнительного подтверждения, отправляя данные через исходящий URL-запрос.
Отложенный взлом и провал фильтрации
Ситуация становится еще дороже для бизнеса, когда инъекция нацелена на постоянную память автономного помощника. Уязвимость CoSnitch использовала сценарий с пересказом веб-страницы для закрепления вредоносных команд в долговременном хранилище. Подобная инструкция переживает конкретную сессию и активируется спустя несколько дней в совершенно других сценариях. Создатели AgentTracer проверили механику инъекции через долговременную память на выборке из 45 примеров, зафиксировав точность свыше 85%. Расследовать такой инцидент методами классической безопасности крайне сложно: причину действий приходится искать в журналах давно закрытых сессий.
Вредоносная команда в постоянной памяти агента сохраняется после перезапуска сессии и срабатывает в произвольный день, разрывая связь между причиной и последствиями атаки.
Попытка решить проблему простой превентивной фильтрацией входных данных наталкивается на огромные накладные расходы. Специалисты компании Google провели сканирование архива Common Crawl, содержащего от двух до трех миллиардов веб-страниц в одном месячном снимке. Анализ показал, что подозрительные формулировки встречаются в научной литературе, учебных пособиях и материалах по информационной безопасности, где об атаках пишут, а не проводят их. Статичные сигнатурные фильтры дают гигантский объем ложных срабатываний, заставляя подключать сложные нейросетевые классификаторы для оценки контекста документа. При этом анализ был ограничен исключительно статичными страницами и не затрагивал социальные сети. Для безопасного масштабирования агентных систем компаниям придется закладывать в бюджет обязательное логирование внутренних цепочек рассуждений моделей, поскольку восстановить логику действий агента исключительно по сетевым логам и внешним вызовам функций технически невозможно.
Для сравнения
Раньше инциденты безопасности ловили по подозрительным записям в журналах серверов, а теперь скомпрометированный автономный ИИ-агент выполняет чужие разрушительные инструкции под видом обычной штатной работы. Смешение рабочих данных с управляющими командами делает вмешательство незаметным для классических сетевых экранов: чужой SSH-ключ тихо регистрируется прямо во время скачивания релиза, а серверный аудит видит лишь стандартную очистку памяти. Когда вредоносная команда прячется в параметрах URL или закрепляется в долговременной памяти с точностью свыше 85%, инженерам попросту не за что зацепиться в сетевых логах. Автономный помощник образцово выполняет чужую волю и аккуратно стирает за собой следы, пока системы мониторинга бодро рапортуют о полном порядке на сервере.
Наши материалы: Безопасность ИИ-агентов: риск промпт-инъекций в финансах (20 июня); Масштабирование вычислений автоматизирует взлом ИИ-агентов (9 сентября); ИИ-агенты раскрывают корпоративные тайны: результаты теста TRAP (19 июня); Угрозы безопасности ИИ-агентов: мнение 30 экспертов (12 июля).
Источник: Хабр ML