Автономные ИИ-агенты SOC слепо доверяют поддельным IT-заявкам и пропускают атаки
По оценкам профильных специалистов, до 70% рутинных операций на первой линии SOC сегодня передаются автономным ИИ-агентам, но реальная экономика такого внедрения упирается в скрытые издержки на расследование ложноположительных срабатываний и архитектурные риски. В SOC автономные ИИ-аналитики уже берут на себя рутину: они сами разбирают алерты, ходят по журналам и сами решают, атака ли перед ними или это просто плановые работы. Однако слепое доверие модели к контексту создает уязвимость. ИИ-агент принимает поступающие данные за абсолютную истину и выносит вердикт.
Финансовая нагрузка на центры мониторинга складывается не только из стоимости токенов и подписок на инфраструктуру вычислений, но и из человеко-часов высокооплачиваемых инженеров второй и третьей линий, вынужденных перепроверять решения автоматики. Когда агент ошибается из-за поддельного контекста, цена инцидента измеряется миллионами долларов потенциального ущерба от пропущенной атаки на критическую инфраструктуру.
Что именно заставляет автономную систему пропустить атаку, если в программном коде нет признаков вредоносных команд? Вся загвоздка кроется в архитектуре. В типовом сценарии агент проверяет поступающие оповещения, обращаясь к журналам EDR, каталогам пользователей и тикет-системе. Когда SIEM поднимает тревогу, что на сервере с резервными копиями учетная запись администратора одну за другую удаляет копии баз, запускается автоматический разбор.
Механика обхода без команд и промптов
Модель обращается к тикет-системе и обнаруживает заявку CHG-4103. На стенде злоумышленник обладал учетной записью, которой можно редактировать заявки, но он не может менять журнал изменений и справочник ролей, а тикет-система не снимает автоматическое согласование после правки параметров.
В заявке CHG-4103 ни слова не обращено к модели, это обычный документ.
Злоумышленник взял уже согласованную заявку и поменял в ней сервер и окно работ под свою атаку, а печать «Согласовано» осталась прежней. ИИ-агент закрыл алерт, а затем оставил в карточке алерта объяснение со ссылкой. Аналитик, который утром листает закрытые за ночь алерты, легко видит формальную галочку и ссылку на заявку работ, тем самым успокаиваясь.
Помогут ли в таком случае стандартные средства фильтрации запросов к нейросетям? Нет, потому что модель сталкивается не с попыткой манипуляции инструкциями. Злоумышленник не передает скрытых директив. В модель поступает обычный документ. Автономный агент выносит заключение самостоятельно, просто опираясь на подброшенные факты.
Эксперимент на 96 случаев и пять способов защиты
В ходе тестирования агенту на модели DeepSeek достались 48 атак двенадцати видов и 48 честных плановых работ. По системам агент в опыте сам не ходил: на каждый случай он получал готовый пакет из алерта, событий и найденной заявки и отвечал, закрыть алерт или отдать человеку. Операционные расходы на поддержание подобных тестовых сред и регулярный аудит безопасности моделей добавляют существенную нагрузку на бюджеты безопасности компаний.
Текст безупречен и ничем не отличается от настоящей заявки, а подмена видна только в журнале самой тикет-системы.
Руководителям подразделений информационной безопасности стоит заранее закладывать в операционный бюджет расходы на верификацию контекста, поступающего из внешних систем автоматизации, так как слепая автоматизация первой линии лишь переносит центр убытков из ручного труда в плоскость скрытых архитектурных сливов.
Для сравнения
Автономный агент бодро забирает себе до 70% рутинных операций первой линии SOC, но цена такой экономии быстро уходит в миллионы долларов потенциального ущерба от пропущенных атак. Вместо защиты инфраструктуры бизнес получает исполнительного цифрового стажёра, который слепо верит любой отредактированной заявке из тикет-системы. В конце мая даже флагманские модели вроде GPT-4o или Claude 3.5 Sonnet пропускали атаки в 10,7–29,6% случаев, а на стенде с DeepSeek алгоритм точно так же споткнулся о подложные данные в штатном согласовании CHG-4103. На 48 тестовых атак агент получил ровно столько же легитимных задач, но для взлома периметра хакеру хватило одной отредактированной карточки с чужой отметкой о согласовании.
Наши материалы: Уязвимости ИИ-агентов: риски косвенных промпт-инъекций (26 мая).
Источник: Хабр ML