Бенчмарк CloudOpsBench зафиксировал провал AI-агентов в половине задач облачной инфраструктуры
Автономные системы сталкиваются с жестким операционным потолком при попытке управлять корпоративной инфраструктурой. Новый открытый бенчмарк CloudOpsBench оценивает эффективность автономных агентов при выполнении стандартных задач DevOps в облачных средах: от восстановления сервисов и удаления ресурсов до ограничения прав доступа, развертывания обновлений и вывода проектов из эксплуатации. Набор тестов версии 1.0, разработанный опытными инженерами по облачной инфраструктуре, проверяет работу систем на 45 сценариях в AWS.
Результаты бенчмарка показывают высокую частоту сбоев даже у флагманских моделей при решении задач облачной эксплуатации. Claude Fable 5.1 успешно справилась лишь с 60% задач, а GPT-6 Astra — с 53%. Все 45 тестов выполняются одинаково как в реальной инфраструктуре AWS, так и внутри эмулятора, что подтверждает системные трудности моделей с базовыми процессами обслуживания облака.
Дефицит логики и аварии в production-среде
Инженерный анализ показывает, что эксплуатационные сбои вызваны ошибками в цепочках рассуждений, а не нехваткой исходной информации.
Главная проблема заключается не в отсутствии знаний, а в логике рассуждений.
По данным исследовательской группы под руководством Анг Чена (Ang Chen) из Мичиганского университета, около 80% сбоев происходят из-за того, что агенты неверно оценивают масштаб задачи, не проверяют все связанные сервисы или завершают выполнение преждевременно. Оставшиеся 20% ошибок приходятся на некорректные действия, влекущие необратимые последствия для рабочей инфраструктуры.
Мультиоблачное расширение и открытая инфраструктура
Кодовая база CloudOpsBench опубликована на GitHub под лицензией Apache 2.0 вместе с подробным отчетом по анализу отказов. Создатели проекта планируют расширить тестирование на среды GCP, Azure и OCI. Несмотря на маркетинговое продвижение автономных агентов как инструментов сквозной автоматизации, корпоративный IT-сектор сталкивается с серьезными рисками надежности, пока разработчики моделей не устранят узкие места в логике рассуждений, приводящие к падению реальных облачных систем.
На фоне других
Бенчмарк CloudOpsBench показывает, что даже флагманские модели вроде Claude Fable 5.1 и GPT-6 Astra спотыкаются не о нехватку доступов или контекста, а о собственную логику планирования. В конце марта уже обсуждалось, как эксплуатация инфраструктуры становится жестким барьером для внедрения агентов, и новые замеры в средах AWS это подтверждают. Пятая часть всех сбоев приходится на некорректные шаги, которые приводят к необратимым поломкам в рабочей облачной инфраструктуре.
Наши материалы: DevOps — барьер для AI: почему это важно для CEO (27 марта).
Источник: The Decoder