← Новости

Как доказать регуляторам причину сбоя автономного ИИ-агента?

Как доказать регуляторам причину сбоя автономного ИИ-агента?
Иллюстрация: The Value Engineering, ИИ

Хотя платформа LangGraph стала общедоступной 30 августа 2026 года — предложив горизонтальное масштабирование и 30 специализированных API-эндпоинтов для управления состоянием более чем 400 ранним корпоративным клиентам, включая Klarna, Replit, Clay и LinkedIn, — фрагментированные среды выполнения продолжали генерировать скрытые операционные риски. В корпоративном сегменте рабочие LLM-агенты потребляют разнородные входные данные: системные промпты, реплики пользователей, документы из баз знаний, результаты работы внешних инструментов и долгосрочную память. Когда агент сбоит или выполняет несанкционированное действие, инженерные команды оказываются в слепой зоне: они не могут определить, какие именно входящие предложения спровоцировали конкретные шаги на выходе.

Отсутствие гранулярного аудита источников превращает соответствие корпоративным нормам в непредсказуемый операционный пассив. При развертывании мультиагентных систем без прозрачных журналов постфактум-анализ инцидентов выливается в ручной разбор неструктурированных логов. И пока руководство бизнеса пытается понять, как доказать регуляторам, из какого именно источника автономный агент извлек контекст для критически важного решения, существующий стек инструментов не дает проверяемого ответа.

Сбои непрозрачного контекста

Текущая инженерная практика пытается бороться с лимитами контекстного окна с помощью агрессивной компрессии, которая регулярно уничтожает критически важные инструкции. В одном задокументированном инциденте автоматизированный ассистент с доступом к корпоративной почте удалил переписку компании после того, как полное сжатие контекстного окна незаметно стерло явную команду не удалять. Системы долгосрочной памяти несут аналогичные операционные риски: они накапливают непроверенные данные за десятки диалоговых шагов, неуклонно размывая качество последующих генераций.

Чтобы устранить эту проблему, исследователи Вэй Хоу, Цзинсинь Гэн, Синь Чэнь и Чжэцин Цзян из Lenovo Global Security Lab разработали LMLineage — внешний фреймворк управления, сопоставляющий каждое выходное предложение агента с исходными фрагментами контекста и рассчитывающий калиброванные оценки достоверности.

«Когда агент совершает ошибку, операторы сегодня не могут ответить на базовый вопрос: какие входные предложения привели к конкретным выходным формулировкам? Это не просто неудобство отладки, а фундаментальный пробел в интерпретируемости систем».

В подходе Lenovo Global Security Lab отслеживание связей не требует прямого доступа к внутренним весам модели или повторных запусков инференса. Классические методы атрибуции создают ощутимое экономическое и вычислительное трение. Методы белого ящика завязаны на анализе внутренних активаций и требуют нескольких проходов на каждый сгенерированный токен. Запросы к самой модели с требованием проставить цитаты порождают галлюцинации и ненадежные ссылки. При этом лексические алгоритмы вроде BM25 не справляются с естественным перефразированием, характерным для современных передовых моделей. Перед бизнесом встает вопрос: как воссоздать граф выполнения, не раздувая бюджет на инференс?

Точечная компрессия и стоимость аудита

Lenovo Global Security Lab решает дилемму вычислительных затрат, объединяя пооконное сравнение эмбеддингов с микрокомпрессией при дрейфе концептов. В бенчмарках на 71 размеченном эталонном предложении из 10 китайских кейсов веб-поиска и 90 диалоговых шагах различных генеративных моделей — включая gpt-4o-mini, qwen3.8-27b и deepseek-v4-flash — пооконное сходство эмбеддингов показало высокую точность при отслеживании парафраза. Вместо ожидания исчерпания контекстного окна и последующего сжатия всего массива система отслеживает, когда ранее использованные документы перестают быть релевантными, точечно удаляя только устаревшие данные и сохраняя инструкции пользователя без изменений.

«Атрибуция на одном шаге диалога занимает около одной секунды на одном GPU и остается стабильной при накоплении контекста до 40 шагов».

Тесты подтверждают: пошаговая атрибуция предложений завершается примерно за 1 секунду на одном графическом процессоре, демонстрируя фиксированную задержку даже при разрастании контекста агента до 40 шагов. Детекция дрейфа концептов показала консервативные результаты: система не допустила ни одного ошибочного сжатия, сохранив полноту выборки в границах базовой точности сопоставления. Это позволяет проводить аудит комплаенса в реальном времени на типовом коммерческом оборудовании, не отбирая вычислительные мощности ускорителей у основных задач инференса.

Внешние контуры управления вроде LMLineage дают бизнесу технический инструмент для верифицируемого анализа первопричин сбоев в корпоративных рабочих процессах. Жизнеспособность автономных систем в бизнесе напрямую зависит от отказа от неконтролируемых контекстных окон в пользу проверяемых графов выполнения. Развертывание агентской инфраструктуры без предложения за предложением зафиксированного происхождения данных оставляет комплаенс компании беззащитным перед тихой потерей инструкций и юридически недоказуемыми действиями алгоритмов.

Как это выглядит рядом

Можно ли контролировать действия автономных агентов без разорительных повторных прогонов через нейросеть? Решение Lenovo разделяет тяжелые внутренние веса моделей и легкую внешнюю разметку эмбеддингов, избавляя инфраструктуру от многократных проходов на каждый токен. В отличие от слепого сжатия контекста, которое стерло запрет и привело к удалению корпоративной почты, точечная зачистка убирает только потерявшие актуальность документы.

Источник: arXiv cs.AI