Самоконтроль ИИ: как архитектура VbD находит ошибки без внешних подсказок
Способны ли автономные системы корректно оценивать собственные результаты, когда девять итоговых сумм и семь контрольных проверок сходятся, но внешнего источника истины для подтверждения выполнения задачи попросту нет?
В типовых корпоративных сценариях самообучение агентов напрямую зависит от обратной связи об успешности задачи, однако на этапе промышленного запуска эта связь отсутствует. За пределами стандартизированных бенчмарков эталонные ответы и сигналы завершения операций исчезают. Системы вынуждены судить об успехе исключительно по косвенным наблюдаемым признакам и неполным журналам взаимодействия. Лишенные внешних стандартов, агенты сталкиваются с системной ошибкой: формальное совпадение меток не гарантирует фактического выполнения работы, а генерация дополнительных вариантов в рамках неизменных проверок лишь воспроизводит те же слепые зоны.
Чтобы разорвать этот замкнутый круг без затратного дообучения весов моделей, исследовательская группа из Ant International и Zhejiang University (Итун Линь, Цзяньда Чэнь, Ихао Ху, Пань Ван, Хан Ван, Чжихао Вэнь, Сяосюэ Жэнь и Вэй У) представила архитектуру Verify by Doing (VbD). Решение обеспечивает совместную эволюцию обвязок (harnesses) Исполнителя (Actor) и Оценщика (Evaluator) в рамках отдельной задачи, сохраняя веса базовой модели неизменными. Синхронное развитие процессов исполнения и валидации устраняет ключевой барьер изолированного самоанализа, избавляя бизнес от необходимости привлекать человека-оператора или внешние эталонные данные в продакшене.
Разделенная архитектура и верификация через инструменты
В процессе инференса автономные агенты могут либо перестраивать свои рабочие процессы и программные обвязки при фиксированных весах модели, либо тратить дополнительный вычислительный бюджет на генерацию и перепроверку вариантов решения. Традиционная критика с вызовом инструментов собирает новые наблюдения, а ретроспективная диагностика помогает корректировать шаги исполнителя. Однако прежние подходы не меняют саму процедуру валидации, из-за чего системные ошибки продолжают искажать дальнейшую адаптацию.
«Оценщик активно инспектирует созданные артефакты и состояние окружения с помощью инструментов; полученные данные формируют внутренний сигнал для выбора ответа и направляют обновление процедур как исполнения, так и верификации».
В архитектуре VbD Исполнитель решает поставленные задачи через редактируемую обвязку, содержащую инструкции, рабочие навыки и критерии проверки. Вместо пассивного чтения статичных логов Оценщик запускает собственную изолированную среду для активного аудита артефактов и состояния среды через внешние инструменты, системно фиксируя выполненные, нарушенные и нерешенные требования. Затем Редактор (Editor) сопоставляет эти отчеты, решения о сравнении и историю выполнения, формируя структурированные правки для одной или обеих обвязок.
Как обновлять эти связанные системы без риска скатиться в рекурсивные галлюцинации?
Предлагаемые версии Оценщика проходят строгое сравнительное тестирование на едином пуле кандидатов, тогда как обновления Исполнителя требуют эмпирического подтверждения на собственных свежих генерациях. Этот взаимный контроль гарантирует, что критерии оценки развиваются строго соразмерно навыкам исполнения. Подход кардинально отличается от систем вроде Red Queen Gödel Machine, где агенты и валидаторы эволюционируют совместно, но замена оценщика по-прежнему жестко привязана к внешним эталонным датасетам.
Результаты бенчмарков и экономика инференса
Модель активной верификации через инструменты дает измеримый прирост эффективности в задачах корпоративной автоматизации. На тестах AutomationBench, tau3 Banking и выборке задач GDPval архитектура VbD показала наивысшие общие результаты среди всех сравниваемых методов, работающих полностью автономно без внешних подсказок.
«VbD обеспечивает прирост на 3,3, 4,1 и 2,3 процентного пункта по сравнению с сильнейшими базовыми решениями на основной языковой модели».
Абляционные исследования подтвердили ключевую роль активного аудита и эволюции Оценщика. Тесты на фиксированных пулах кандидатов показали, что качественная валидация позволяет извлекать верные ответы из уже сгенерированных вариантов, экономя бюджет на повторных прогонах. В финансовых сценариях — например, при сведении бюджетных таблиц, где проверка контрагентов, итоговых сумм и чистой выручки требует пошагового аудита ячеек и автономного пересчета, — активный контроль исключает ложноположительные результаты до их попадания в критические бизнес-процессы.
Смогут ли внутренние валидаторы, эволюционирующие внутри изолированных систем, окончательно ликвидировать архитектурные слепые зоны без внешнего источника истины, или корпоративным контурам в конечном счете потребуется внешний аудит для контроля решений Редактора?
На фоне других
Раньше автономные агенты упирались в слепые зоны неизменных проверок или тратили свыше 120 миллионов процессорных часов на тяжелые расчеты, а теперь Исполнитель и Оценщик перестраивают свои рабочие обвязки прямо в ходе отдельной задачи при неизменных весах базовой модели. Связка Ant International и Zhejiang University отдала валидатору собственную изолированную среду с инструментами вместо пассивного чтения логов, избавив систему от привязки к внешним эталонам в духе Red Queen Gödel Machine. Процедура взаимного отбора отсекает рекурсивные сбои без дорогостоящего дообучения архитектуры. Парная эволюция обвязок переносит верификацию из области тяжелых внешних тестов в плоскость согласованного аудита среды.
Наши материалы: Самообучающийся ИИ попадает в замкнутый круг без внешних тестов (13 октября).
Источник: arXiv cs.AI