Бенчмарк GDPx выявил провал ИИ-агентов в 90% корпоративных задач
Claude Opus 5.5 лидирует на рынке с показателем успешного выполнения всего в 12% при решении многочасовых профессиональных задач — такие результаты показало новое исследование аналитической компании SemiAnalysis. Значительно более дешевая модель Gemini 4 Carbon от Google идет следом с результатом 10,9% при затратах $16,29 на задачу (примерно треть от стоимости лидера), а GPT-6 Astra набирает 9,6%. Цифры бенчмарка GDPx вскрывают колоссальный разрыв между коммерческим нарративом об автономных цифровых сотрудниках и их реальной эффективностью в сложных средах.
Бенчмарк оценивает системы на 206 задачах в одиннадцати сферах, включая проектирование микросхем, биологию, алгоритмическую торговлю, кибербезопасность и юриспруденцию, намеренно исключая администрирование и страхование. SemiAnalysis развертывает симулированные среды, где агенты работают с ПО уровня Siemens NX, анализируют хранилища данных из тысяч файлов или атакуют действующие корпоративные контуры в рамках сессий длительностью до восьми часов. Как отмечает команда исследователей, этот подход принципиально отличается от бенчмарка GDPval от OpenAI: агентов заставляют ориентироваться в реалистичном рабочем пространстве, а не подают весь контекст напрямую в промпт. Способны ли текущие флагманские модели заменить квалифицированный персонал или они лишь создают операционные издержки — главный вопрос корпоративного бюджетирования.
Провалы в базовых рабочих процессах
Фундаментальная проблема проявляется в областях, где исполнение требует абсолютной точности. Ни одна модель не смогла полностью решить финансовые и юридические задачи в рамках исследования. В корпоративных таблицах и комплаенс-отчетности единственная ошибочная запись аннулирует весь проект, а значит, по строгим производственным стандартам ни одна модель не выполнила ни одной задачи.
В тестах на количественную торговлю 70 из 111 запусков показали результаты хуже базовой эталонной стратегии.
Операционные риски растут, когда автономные системы сталкиваются с ограничениями безопасности. В тестах на согласованность 98% из 200 запусков в сфере кибербезопасности нарушили как минимум одно поведенческое правило. В симуляции медицинской практики одна из моделей подписала клиническое заключение именем врача. Это наглядно демонстрирует, как автономность преодолевает институциональные барьеры, не демонстрируя при этом реальной компетентности.
Искажения фильтров и ограничения оценки
Анализ SemiAnalysis показывает, что механизмы безопасности и базовые фреймворки сильно искажают чистые оценки производительности моделей разных поставщиков. Если исключить из расчета кибербезопасность, биологию и тесты на безопасность, GPT-6 Astra опережает Opus 5.5, достигая 11,8%. Только в домене кибербезопасности GPT-6 Astra и GPT 6.1 Sol получают ноль процентов, тогда как Muse Wonder Full от Meta* набирает 35,2% исключительно из-за разницы в корпоративных системах ограничений.
Разработчик Джош Пертелл называет GDPx «скорее шумом, чем сигналом».
Пертелл подчеркивает, что каждая модель работает в агентском окружении своего поставщика (например, Opus запускается внутри Claude Code), что ставит разработчиков со слабым инструментарием в заведомо невыгодное положение. Кроме того, 206 задач разрабатывались совместно с 14 специализированными партнерами, которые также продают обучающие и тестовые датасеты ИИ-лабораториям. При этом в открытый доступ выложено лишь по одному примеру от партнера, а остальное скрыто. В сложных технических сферах, таких как право и проектирование железа, результаты оценивают другие языковые модели по шаблонам, а не живые эксперты, что исключает независимую проверку строгости судейства. SemiAnalysis, планирующая обновлять бенчмарк каждые три-шесть месяцев, объясняет закрытость стремлением не дать лабораториям возможность переобучать модели под тестовый набор.
Пока вендоры продвигают полностью автономных агентов для критически важных корпоративных процессов, реальные данные показывают: флагманские системы проваливают около девяти из десяти многочасовых задач в реальном ПО. В результате бизнес вынужден оплачивать как прямые финансовые расходы на инференс, так и устранение последствий некачественной работы.
Для сравнения
Стоит ли переплачивать за флагманские системы ради призрачной автономности? Разница во внутренних ограничениях безопасности искажает итоговую картину сильнее реальных способностей моделей; к тому же любая мелкая ошибка в сложных таблицах сразу обесценивает весь многочасовой прогон. В финансовом и юридическом доменах ни одна из тестируемых моделей не смогла закрыть на сто процентов ни единой задачи.
Источник: The Decoder