Как сократить расход токенов агентных систем почти в два раза без потери качества?

Запуск модели Qwen3.8-27B внутри среды pi дает показатель 39% в бенчмарке Terminal-Bench 2.1 при среднем расходе 2,9 тыс. токенов на задачу. Для корпоративных внедрений в разработке ПО такой профиль отражает финансовую реальность готовых базовых решений: модели ориентированы на широкий спектр возможностей, а не на специфические циклы исполнения конкретного окружения, из-за чего страдает эффективность инференса.
Заморозка весов базовой модели и обучение целевого модуля Low-Rank Adaptation с помощью обучения с подкреплением внутри среды полностью меняет эту юнит-экономику. Подход поднимает показатель pass@1 до 55%, одновременно сокращая потребление токенов до 1,5 тыс. на задачу. За счет точной подстройки под операционный интерфейс автономного окружения модель отсекает лишние циклы рассуждений и ненужные вызовы внешних инструментов.
Обучение с подкреплением на границе инструментов
Универсальные модели при развертывании в автономных средах часто впустую расходуют вычислительные ресурсы, поскольку их стандартная генерация не соответствует интерфейсным ожиданиям платформы. Обучение с подкреплением на кастомном распределении задач в связке с конкретной средой агента обеспечивает более высокую точность и снижает сжигание ресурсов, напрямую выравнивая модель со структурой исполнения.
«Сочетание обучения с подкреплением на специализированном пуле задач с выбранной агентной средой дает более точные и экономичные модели под целевое окружение и распределение задач».
С точки зрения экономики, этот сдвиг вскрывает проблему баланса при попытке нанимать базовые модели как автономных сотрудников из коробки: общий интеллект сжигает оплаченные токены на понимание самого фреймворка, тогда как направленное обучение с подкреплением выравнивает генерацию токенов строго под исполнение. Как отметили инженеры, основной прирост производительности и экономии токенов достигается за счет того, что модель меньше рассуждает, реже дергает API инструментов и чаще решает задачу с первой попытки.
Как инженерным командам формировать необходимые среды обучения для настройки адаптеров под конкретные автономные фреймворки без непомерных затрат на сбор данных?
Они создают целевые распределения задач, воспроизводящие реальные операционные сбои. Масштабный поиск сред Harbor на Hugging Face Hub дал около 59 000 задач, однако эта выборка содержала дубликаты, тестовые наборы и примеры, непригодные для обучения. Чтобы собрать чистый датасет для Qwen3.8-27B, пайплайн подготовки объединил три отдельных процесса.
Инженерия интерфейса среды
Синтез задач закрывает пробелы в обучении, напрямую воспроизводя рабочие процессы инженеров. Для ликвидации узких технических зон пайплайн Tasksmith генерирует окружения из принятых пул-реквестов, где автономный агент пишет как спецификацию, так и валидационные тесты.
Разработчики использовали Tasksmith для устранения дефицита навыков, сопоставляя компетенции, оцениваемые в Terminal-Bench 2.1. Все датасеты, этапы обучения и запуски агентов выполнялись через сервис Jobs на Hub с применением библиотеки TRL и алгоритма AsyncGRPOTrainer вместе с OpenEnv и harbor. Финальные среды развертывания опирались на стандартизированные контейнеры с Pi 1.5.2, OpenCode 2.2.7 и Hermes Agent v0.22.6.
«Три модуля LoRA также объединены в единый суперадаптер, который работает без изменений под pi, Hermes Agent и OpenCode».
Такая архитектура позволила обучить специализированный LoRA-адаптер для Qwen3.8-27B под каждую целевую платформу — pi, Hermes Agent и OpenCode — прогоняя обучение с подкреплением непосредственно внутри соответствующей среды. Каждый полученный адаптер превзошел базовую модель в родной среде как по метрикам бенчмарков, так и по общей ресурсоемкости.
Отношение к агентному развертыванию как к задаче дообучения модели, а не как к проблеме сборки цепочек промптов во время выполнения, устраняет задержки и накладные расходы на токены, раздувающие счета за инференс. Выберут ли корпоративные команды объединение независимых весов LoRA в единый суперадаптер для нескольких рабочих сред или предпочтут изолированные профили исполнения, определит их базовую планку операционных расходов по мере масштабирования автономной разработки ПО.
Для сравнения
Широкий кругозор базовых моделей парадоксальным образом мешает работе: система сжигает оплаченные вычислительные ресурсы на пустые рассуждения и дерганье API вместо прямого исполнения команд. Попытка нанимать универсальные нейросети как готовых автономных сотрудников из коробки упирается в накладные расходы на понимание самого интерфейса окружения. Вместо бесконечной полировки цепочек промптов во время инференса разработчики перенесли фокус на кастомные среды вроде pi, Hermes Agent и OpenCode.
Источник: HuggingFace Blog