Кодинг-агенты тратят 60% вычислений на перепроверку уже готового кода
Бенчмарки автономной разработки ПО ранее оценивали системы исключительно по финальному коду, однако детальное пошаговое отслеживание показывает: рабочие решения появляются на ранних этапах, тогда как вычисления продолжаются еще долгое время. Исследователи из Университета штата Пенсильвания Муса Джим (Musa Cim), Бурак Топчу (Burak Topcu) и Махмут Тайлан Кандемир (Mahmut Taylan Kandemir) проанализировали траектории работы агентов на базе пяти моделей, двух агентных фреймворков и трех датасетов SWE-bench, фиксируя и тестируя каждый отдельный патч репозитория в процессе выполнения. Задержка завершения (termination lag) измеряет количество шагов между первым корректным исправлением агента и фактической остановкой процесса. Как продемонстрировали Муса Джим и его коллеги, этот неконтролируемый операционный хвост скрывает существенные финансовые потери: автономные агенты для кодинга не останавливаются при решении задачи, сжигая бюджеты на инференс в ходе лишних циклов.
Оценка систем только по финальному патчу скрывает момент, когда жизнеспособное решение было фактически получено. Этот пробел искажает реальную длительность выполнения, расход токенов и затраты на вычисления. Ключевой вопрос для технических руководителей, внедряющих автономные пайплайны, заключается в том, какой объем неоправданных расходов несет бизнес, пока кодинг-агенты продолжают работу сверх рабочего решения. В исследовании Университета штата Пенсильвания фиксировалось время до первого корректного патча (TTFCP) наряду с последующей задержкой завершения (TL). Базовое тестирование охватило Qwen3-Coder и Laguna-XS.2 на SWE-bench Verified и Multilingual. Анализ показывает, что от 38% до 82% успешных запусков достигают корректного решения при первой же правке исходного кода. Тем не менее, как констатируют исследователи, агенты продолжают генерировать команды вместо остановки, растрачивая ресурсы на избыточные вычислительные шаги и токены.
Анатомия задержки завершения
Шаги, выполненные после нахождения решения, составляют в медиане от 35% до 37% для Qwen3-Coder и от 54% до 60% для Laguna-XS.2 во всех успешных запусках на SWE-bench Verified и Multilingual. На SWE-bench Verified первая же модификация исходного кода от Qwen3-Coder проходит тесты бенчмарка в 82% случаев, когда запуск в итоге приводит к корректному патчу. Исследователи проверили обобщающую способность выводов на Claude Haiku 5.5 и GPT-6 Luna в бенчмарке SWE-bench Verified, на Seed-OSS в SWE-bench Pro, а также в рамках агентного фреймворка Mini-SWE, подтвердив: задержка завершения сохраняется при самых разных архитектурах моделей.
«Каждый дополнительный шаг агента ведет к новому вызову модели на фоне растущего контекста, увеличивая число токенов, задержку и затраты на вычисления, а также создавая риск поломки уже работающего кода».
Как подчеркнули авторы из Пенсильвании в своем отчете, каждое расширение контекстного окна увеличивает удельную стоимость выполнения без создания дополнительной ценности. Большую часть дополнительных шагов агенты тратят на проверку своей работы и исследование репозитория. В частности, на верификацию приходится от 48% до 63%, а на исследование — еще от 15% до 29% шагов агента после первого корректного патча, тогда как дальнейшие правки исходного кода в большинстве сред остаются редкими. Ранее исследования системной архитектуры выявили сопутствующие уязвимости конвейеров: исследователи Шаохуан Ван (Shaohuang Wang), Цзинхао Вэнь (Jinghao Wen), Сюлей Чжан (Xulei Zhang) и Сюнь Цзяо (Xun Jiao) показали, что сбои мультиагентных систем возникают на ранних этапах — медианная точка появления ошибки составила 0,18 от общей длительности по выборке из 95 неудачных запусков. В автономных конвейерах написания кода основная проблема обратная: корректное исправление появляется практически мгновенно, но системе не хватает механизма остановки для выхода из цикла.
Стоимость верификации и деградация кода
Сторонники длительных циклов исполнения утверждают, что определенный уровень верификации необходим, поскольку агенты не видят тестов бенчмарка и вынуждены полагаться на собственные внутренние метрики для оценки корректности. Хотя агенту действительно требуются процедуры проверки для валидации функциональности перед отправкой кода, эмпирические замеры доказывают: чрезмерная самопроверка влечет за собой измеримые издержки. В большинстве запусков корректный патч сохраняется до самого конца — показатель составляет от 61% до 96%. Однако продолжение работы провоцирует прямые регрессии кода: в 1–8% случаев избыточная активность приводит к тому, что агенты отменяют свое ранее найденное верное решение, ломают рабочий код и отправляют некорректный патч.
Остановка на первом жизнеспособном изменении позволила бы сохранить эти рабочие патчи, одновременно сократив вычислительные накладные расходы вдвое в таких системах, как Laguna-XS.2. Вместо этого в объеме до 8% инцидентов корпоративные системы оплачивают премиальные тарифы инференса за то, чтобы агент переписал собственную успешную работу и выдал дефектную сборку, напрямую подрывая юнит-экономику внедрения ИИ.
Как это выглядит рядом
Счета за облачный инференс кодинг-агентов растут не из-за сложности кода, а из-за неумения автономных систем вовремя притормозить. Пока бенчмарки фиксируют лишь итоговый патч, Laguna-XS.2 и Qwen3-Coder на деле находят рабочий вариант почти сразу, но затем тратят в медиане до 60% шагов на бесконечные перепроверки уже исправленного репозитория. В итоге бизнес оплачивает раздутый контекст и пустые вызовы моделей исключительно ради того, чтобы агент убедил сам себя в собственной правоте. Автономный разработчик научился писать верный код с первой попытки, но так и не понял, когда нужно просто закрыть редактор.
Источник: arXiv cs.AI