Галлюцинации в расчетах: почему ИИ-агенты ломаются на верификации данных

Способны ли автономные программные агенты безопасно взять на себя управление биомедицинскими исследовательскими пайплайнами и научной верификацией без риска финансовых потерь от скрытых системных ошибок?
Нет, не способны: автономные агенты выполняют рутинные протоколы анализа с высокой точностью, однако их итоговые научные выводы остаются уязвимыми перед фундаментальными логическими сбоями. Автономных ИИ-агентов все чаще внедряют для автоматизации биомедицинских исследований, что порождает острую необходимость протестировать их реальные возможности на прикладных научных данных и рабочих процессах до выделения инвестиций. Чтобы системно оценить эти платформы, исследовательская группа под руководством Лучжа Чжуна (Lujia Zhong), Ихао Ся (Yihao Xia), Цзяньвэя Чжана (Jianwei Zhang) и автора-корреспондента Юнгана Ши (Yonggang Shi) из Института нейровизуализации и информатики Стивенса при Медицинской школе Кека Университета Южной Калифорнии представила бенчмарк NIBench, подробно описанный в препринте arXiv:2611.15831v1 [cs.AI]. Фреймворк исследует, насколько надежно модели связывают операционное исполнение инструкций с логическими рассуждениями высокого уровня в реальных R&D-задачах.
Бенчмарки исполнения и процедурные ограничения
Авторы разработали NIBench как бенчмарк, включающий три взаимодополняющих сценария оценки автономных агентов. Первый блок оценивает точность выполнения операций и реконструкцию рабочих процессов на 56 задачах в семи программных экосистемах, охватывающих структурную, диффузионную и функциональную магнитно-резонансную томографию, позитронно-эмиссионную томографию и мультимодальный анализ. В этих средах авторы протестировали 19 языковых моделей в рамках единого агентного фреймворка, при этом отобранные модели прошли через дистилляцию навыков и проверку корректности гипотез. Тестирование выявило явный операционный разрыв: передовые агенты практически безупречно исполняют предоставленные протоколы анализа, однако при отсутствии пошаговых процедурных инструкций разброс в их эффективности резко возрастает.
«Передовые агенты практически безупречно исполняют предоставленные протоколы анализа, однако при отсутствии пошаговых процедурных инструкций разброс в их эффективности резко возрастает».
Как отметили Юнган Ши и его соавторы, автономные агенты надежно воспроизводят технические скрипты при наличии жестких прямых инструкций, но их точность падает, как только оператор убирает процедурные шаблоны. Чтобы проверить, способны ли системы преодолеть это ограничение, второй этап тестирования NIBench оценивал возможность агентов развивать процедурные навыки путем дистилляции траекторий выполнения кода. Полученные навыки тестировались на ранее пройденных задачах, новых сценариях и других моделях. Результаты показывают: дистиллированные навыки повышают производительность в знакомых процессах и переносятся между моделями, однако их полезность на принципиально новых задачах нестабильна, что ограничивает адаптацию таких систем в неизвестных исследовательских средах.
Провал научной экспертизы
Критический сбой происходит в момент, когда системы переходят от непосредственного запуска пайплайнов к интерпретации исходных биомедицинских датасетов. На третьем этапе NIBench исследователи оценивали способность к научному суждению на 36 научных гипотезах из опубликованных исследований болезни Альцгеймера: агентам требовалось проанализировать необработанные когортные данные и предоставить воспроизводимую доказательную базу. В таких сценариях правдоподобно выглядящие аналитические отчеты маскируют фундаментальные ошибки, искажающие научные выводы.
«Агенты воспроизводят заявленные результаты, но иногда приходят к выводам, противоречащим экспертным оценкам, причем доступ к данным далеко не всегда повышает качество суждений».
Фактически прямой доступ к сырым когортным данным не исправляет нарушенную логику рассуждений и не гарантирует корректный результат. Бенчмарк доказал: агенты воспроизводят заявленные результаты, но иногда приходят к выводам, противоречащим экспертным оценкам, причем доступ к данным далеко не всегда повышает качество суждений. Система способна безупречно выполнить вычислительный пайплайн без единой программной ошибки, выдав при этом ложный научный вердикт.
Компании, внедряющие автономные ИИ-системы в критически важные исследовательские контуры, сталкиваются с жестким барьером: корректное исполнение кода не означает научной достоверности. Полная автономность пока невозможна из-за разрыва между воспроизводимостью вычислительных скриптов и верифицированными экспертными выводами. Пока агентные архитектуры не научатся сопоставлять обработку данных с фундаментальной отраслевой логикой, контроль со стороны человека остается обязательным условием для предотвращения скрытых аналитических сбоев.
В чём смысл
Что в действительности покупает R&D-отдел, отдавая рутину агентным системам на девятнадцати моделях? Полноценной автономии здесь нет и близко: бенчмарк NIBench наглядно показал, что софт отлично исполняет роль послушного лаборанта на пятидесяти шести рутинных задачах, но полностью слепнет без готовых процедурных шпаргалок. Запуск чужого кода по готовому шаблону создает опасную иллюзию надежности — особенно когда дистилляция навыков пасует перед неизвестными вводными. Красивые отчеты по тридцати шести гипотезам болезни Альцгеймера генерируются безупречно, только вот научные выводы в них раз за разом оказываются ошибочными.
Источник: arXiv cs.AI