← Новости

Фреймворк SOTERIA: формальная проверка избавила ИИ-агентов от ступора

Фреймворк SOTERIA: формальная проверка избавила ИИ-агентов от ступора
Иллюстрация: The Value Engineering, ИИ

Как инженерным командам устранить взаимные блокировки при исполнении и сбои в автономных агентах, не снижая полезность рабочих процессов?

Агенты на базе больших языковых моделей все шире внедряются в разработку ПО, научные исследования, клиентский сервис и корпоративную автоматизацию. Они берут на себя многоэтапные вызовы внешних инструментов, действия которых в реальном мире сложно или невозможно отменить. Однако эксплуатация таких систем создает операционный конфликт между достижением целевого результата и соблюдением отраслевых регламентов. Стандартные защитные барьеры предотвращают несанкционированные действия простой остановкой агента, но это вмешательство регулярно парализует автономные процессы прямо посреди выполнения задачи.

Формальная верификация иерархических планов до обращения к инструментам снимает компромисс между жестким соблюдением политик безопасности и практической отдачей. Исследователи Майк Хэ, Шарад Малик и Аарти Гупта из Princeton University совместно с Анкушем Десаи из Snowflake представили в научной работе для 40-й конференции Neural Information Processing Systems (NeurIPS 2026) систему SOTERIA. Этот фреймворк сочетает предварительные формальные проверки с контролем выполнения в реальном времени. Архитектура, опубликованная под идентификатором arXiv:2611.17880v1, формирует проверенные пути исполнения до запуска внешних систем.

Сбой стандартных защитных барьеров

Развертывание автономных агентов в промышленных масштабах вскрывает структурные изъяны традиционного надзора во время исполнения. Сейчас корпоративные процессы обычно опираются на один из двух защитных механизмов. Первый подход использует вторичные языковые модели в роли оценщиков, которые проверяют каждое действие перед отправкой. Такие модели легко интегрировать, но их вердикты остаются вероятностными и не дают строгих гарантий безопасности.

Альтернатива строится на мониторах спецификаций. Они проверяют предусловия, постусловия или инварианты траекторий непосредственно при исполнении, обеспечивая более строгие границы верификации. Однако когда монитор блокирует некорректный вызов, у него нет системного механизма для восстановления работы. Как отмечается в исследовательской статье:

«Эти цели конфликтуют между собой: блокировка небезопасного действия предотвращает нарушение, но способна бросить агента посреди процесса без какого-либо системного способа восстановить работу».

Остановка операции оставляет агента в состоянии, из которого невозможно выйти, напрямую снижая долю успешно завершенных задач как в клиентских сервисах, так и во внутренних процессах компании. Индустрия считала, что бизнесу неизбежно придется выбирать: либо мириться с непроверенными вероятностными рисками, либо терпеть регулярные операционные простои.

Способны ли автономные агенты соблюдать регламенты без ущерба для результативности?

Формальная верификация и восстановление при исполнении

SOTERIA решает эту задачу, выстраивая верифицированные иерархические пути до обращения к любому внешнему инструменту. Фреймворк опирается на однократную предварительную настройку: документы с регламентами на естественном языке и описания инструментов преобразуются в формальные спецификации политик, контракты инструментов и библиотеку повторно используемых подпланов, описывающих типовые отраслевые сценарии. Эти спецификации и контракты генерируются с помощью LLM, а затем вручную сверяются с корпоративными правилами.

На этапе планирования система собирает иерархические цепочки из библиотеки предварительно проверенных подпланов и сопоставляет их со спецификациями. Верификация контролирует три параметра: контракты инструментов (гарантируя, что каждый вызов выполняет свои предусловия), прогресс (подтверждая, что план не зайдет в тупик) и соответствие политикам (исключая нарушение отраслевых правил). Если проверка выявляет ошибки, блок таргетированной диагностики направляет планировщик на исправление и повторную верификацию последовательности в рамках лимита попыток. Если завершить полную проверку не удается, фреймворк запускает резервный сценарий на базе наиболее надежного частично верифицированного плана.

Исполнение контролирует встроенный монитор среды выполнения, сверяющий каждый вызов инструмента с формальными спецификациями и блокирующий несанкционированные действия. В отличие от неуправляемых систем, зависающих при первом отклоненном шаге, исполнитель в такой архитектуре обращается к проверенному плану за альтернативами и восстанавливает рабочий процесс по заданному маршруту.

Количественная оценка операционной надежности

Эмпирические тесты подтверждают: формальное планирование кардинально меняет показатели надежности агентов в различных прикладных задачах.

При этом верифицированное планирование устранило падение продуктивности, характерное для консервативных систем фильтрации. Согласно результатам оценки, фреймворк обеспечил в 1,7 раза более высокую долю успешного выполнения задач по сравнению с лучшими базовыми решениями, не допустив ни единого нарушения корпоративных политик.

Инженерные команды, управляющие корпоративными агентами, несут прямые убытки, когда сбои в рантайме парализуют автоматизированные процессы или нарушают комплаенс. Объединение предварительной контрактной верификации с контролем исполнения доказывает: строгое следование регламентам не требует жертв со стороны операционной эффективности. Переход к библиотекам формально проверенных планов открывает надежный инженерный маршрут для сложных многоэтапных корпоративных внедрений.

Как это выглядит рядом

Однократная ручная выверка формальных спецификаций и библиотек подпланов на старте перекладывает всю тяжесть надзора с непредсказуемой среды исполнения на этап проектирования. Традиционные защитные барьеры при возникновении ошибок попросту намертво глушат процесс, потому что у обычного монитора во время выполнения нет встроенных способов выбраться из тупика. В отличие от вторичных языковых моделей с их вероятностными оценками, предварительная верификация собирает цепочки вызовов по строгим контрактам инструментов и гарантирует прогресс без риска нарушить регламент. Автономия агентов в проде по-прежнему держится на ручном труде инженеров, заранее расписывающих правила игры от руки.

Источник: arXiv cs.AI