Диагностические VLM-агенты заявляют 90% уверенности при точности 38,9%

По итогам 4 778 диагностических запусков на снимках экстренной медицины мультимодальные агенты (VLM) продемонстрировали медианную уверенность в 90% при выдаче итогового заключения, хотя точными оказались лишь 38,9% их ответов. Внедрение автономных агентов в клинические процессы вскрыло фундаментальное расхождение между алгоритмической самоуверенностью и реальной точностью. Вместо автономной сортировки пациентов бизнес получает системный сбой: преждевременную фиксацию на ложной гипотезе в сочетании с некалиброванной уверенностью.
Этот разрыв между ожидаемыми возможностями и фактической клинической надежностью формирует прямой финансовый риск: сколько стоит организации автономный диагностический агент с необоснованной уверенностью? Мультимодальные модели, способные анализировать медицинские снимки, привлекли пристальное внимание провайдеров медицинских услуг еще с релизом GPT-4V в 2023 году. Однако в диагностических контурах некалиброванный агент, цепляющийся за неверные первичные выводы, ведет лишь к росту юридической ответственности и административных издержек.
Преждевременное закрытие гипотез и якорение в объемных данных
Чтобы измерить автономное поведение моделей при диагностике, исследователи протестировали шесть мультимодальных систем на 100 экстренных КТ- и МРТ-исследованиях из открытого архива за период с марта 2025 по август 2026 года. Двукратное тестирование каждой модели в четырех режимах навигации дало в сумме 4 800 прогонов.
«Когнитивные искажения лежат в основе 74% ошибок при интерпретации изображений», — отмечают авторы исследования.
Человеческая диагностика давно страдает от когнитивных искажений, особенно от эффекта якорения и преждевременного закрытия гипотез, когда специалист хватается за первые признаки и прекращает дальнейший анализ. Тестирование показало, что автономный софт в точности воспроизводит эти человеческие дефекты. Модели формировали первоначальную диагностическую гипотезу, просмотрев лишь медианные 10,8% доступных срезов томографии. Впоследствии агенты сохраняли эту исходную догадку в 63,1% запусков (755 из 1 196 случаев). Если стартовая гипотеза была ошибочной, итоговый диагноз оказывался верным лишь в 12,4% случаев (110 из 885). Напротив, при верной начальной догадке итоговая точность достигала 90,4% (281 из 311; P < .001). Ошибившись на старте, агенты практически не способны вернуться на правильный путь.
Проблема навигации и качество диагностики
Выявленные ограничения согласуются с более ранними тестами автономных систем в здравоохранении. 14 мая 2026 года модели, оценивавшиеся на бенчмарке RealICU по данным палат интенсивной терапии, тестировались на четырех критических задачах: оценка статуса, выявление острых проблем, рекомендации по лечению и детекция жизнеугрожающих состояний. Позже, 8 ноября 2026 года, эксперименты на сложной выборке MEDAGENTSBENCH показали, что мультиагентные пайплайны достигали точности 0,64 против 0,54 у базовых одиночных моделей, однако так и не смогли стабильно превзойти сильные промпт-бейзлайны, а предварительное извлечение контекста не дало ощутимого эффекта. Свежие результаты на медицинских изображениях подтверждают: свободный просмотр данных только усугубляет агентную неэффективность.
В условиях свободной навигации по срезам шесть моделей показали общую точность диагностики всего 32,6% (391 из 1 200 прогонов). Для сравнения, навигация с заранее заданного ключевого среза обеспечила точность 37,9% (455 из 1 200 прогонов; P = .003). На выборке из 30 клинических случаев, оцененных девятью рентгенологами, свободно навигирующие модели были точны в 30,0% запусков (108 из 360), тогда как врачи достигли точности 77,0% (208 из 270; P < .001).
При любых стратегиях исследования VLM-агенты значительно уступали в точности врачам-рентгенологам.
Существует мнение, что прямая передача всех срезов или предварительный отбор ключевых изображений устраняет потери на навигации. Данные подтверждают, что совокупная точность выросла до 42,2% при отправке всех срезов единым запросом (506 из 1 200 прогонов) и до 42,5% при явной передаче ключевых срезов (510 из 1 200 прогонов; оба значения P < .001).
Способны ли медицинские организации экономически оправдать внедрение автономных мультимодальных агентов, когда ранняя гипотеза, сформированная всего по 10,8% срезов, оставляет итоговую точность на уровне 32,6% при сохранении 90% уверенности системы?
Для сравнения
Медианные 10,8% просмотренных срезов томографии — ровно столько хватило мультимодальным системам, чтобы намертво зафиксировать диагноз и больше с него не сходить. В свободном поиске по снимкам софт выдал точность всего 32,6%, но упрямо сохранял первоначальную догадку в большинстве прогонов, копируя худшие когнитивные ловушки живых радиологов. Свобода действий без жестких рамок лишь умножила ошибки машин, показав, что добавление автономии пока только роняет качество клинических выводов.
Источник: arXiv cs.AI