← Новости

Заменит ли самоперезапись весов нейросетей затратные GPU-кластеры?

Заменит ли самоперезапись весов нейросетей затратные GPU-кластеры?
Иллюстрация: The Value Engineering, ИИ

Корпоративное внедрение искусственного интеллекта опирается на дорогостоящее структурное допущение: модели обучаются один раз, замораживаются и развертываются, требуя выделенных пайплайнов и вычислительных кластеров для корректировки весов. 18 ноября 2026 года исследователи Цзяцзюнь Фань, Нил Хэ, Чанъи Ян, Энди Мао, Си Чжу, Чаожань Чэн, Кайцю Лян, Шуайкэ Шэнь, Цзэтянь Ли, Жуйхань Го и Гэ Лю из UIUC, CMU, Ратгерского университета, Принстона и Стэнфорда опубликовали работу под названием «Language Models Can Rewrite Their Own Weights». Исследование доказывает, что модель размером 27B способна диагностировать собственные сбои и напрямую перезаписывать матрицы весов исключительно за счет логических рассуждений, полностью исключая градиентный спуск и повторные запуски обучения.

Подобная архитектура меняет расчет затрат на доработку моделей. В стандартных сценариях повышение эффективности развернутых систем требует регулярных капитальных расходов на кластеры предварительного или последующего обучения либо непрерывных операционных издержек на методы масштабирования во время инференса (test-time scaling), которые истощают бюджеты за счет генерации дополнительных токенов на каждый запрос. Самоперезапись выполняется локально на открытой модели за несколько часов на одном GPU, а достигнутый прирост производительности фиксируется непосредственно в весах, не увеличивая себестоимость отдельного запроса. Однако для корпоративных заказчиков остается открытым вопрос эксплуатационной надежности: способна ли модификация параметров без градиентов сохранять стабильность, не нарушая базовую функциональность системы под рабочими нагрузками?

Внутренние рассуждения вместо массивных кластеров

Авторы возводят эту концепцию к истокам теории компьютерных наук. В 1947 году британский математик Алан Тьюринг утверждал, что динамическая модификация служит фундаментальной основой машинного обучения.

«Нам нужна машина, способная учиться на собственном опыте. Возможность позволить машине изменять свои собственные инструкции обеспечивает механизм для этого...»

Как сформулировал Алан Тьюринг, предоставление алгоритму права переписывать внутренние инструкции заменяет внешнее вмешательство автономной корректировкой. В ходе практических тестов модель 27B исследовала собственные веса, оценивала набранные баллы за ответы, проводила пробные прогоны на тестовых задачах и корректировала параметры, вызвавшие ошибки. На заранее зафиксированном бенчмарке эта автономная настройка весов повысила точность модели на 6,6 процентных пункта на выборке из 490 задач, с которыми она ранее не сталкивалась. Вместо применения непроверенных правок система использует контролируемые циклы валидации: изменение фиксируется только тогда, когда внутренние тесты подтверждают улучшение, позволяя каждой проверенной модификации заменять предыдущий базовый уровень.

В течение восьми непрерывных сессий модель применила три обновления параметров и отклонила правки в пяти других сессиях, где тесты не зафиксировали улучшений, оставив исходные веса неизменными. На протяжении этих первых восьми сессий ее точность только росла. Данный протокол защищает систему от неконтролируемого дрейфа параметров и ликвидирует инженерные затраты на оркестрацию распределенных кластеров обучения.

Порог масштабирования моделей и риск деградации

Ключевой риск модификации весов без использования градиентов заключается в неконтролируемом разрушении системы. При тестировании четырех масштабов одной архитектурной линейки компактные модели полностью провалили задачу: версия 2B не сгенерировала ни одной правки, а варианты 4B и 9B повредили собственные матрицы и вышли из строя. Способность к функциональной самомодификации проявилась строго на пороге в 27B параметров, где система смогла оценить собственные скрытые состояния между успешными ответами и теми, которые исчерпали лимит токенов, ослабив разделяющие их внутренние векторные направления.

Из четырех размеров одного семейства модель 2B не делает правок, а версии 4B и 9B ломают сами себя, и лишь модель 27B работает над собой подобно человеку.

Помимо исправления логических ошибок в текстовых задачах, модель 27B продемонстрировала способность к автономному восстановлению поврежденной архитектуры. Получив собственную копию с поврежденной матрицей весов, система локализовала дефектную матрицу и сгенерировала замещающие значения параметров без доступа к исходным неповрежденным весам. Когда исследователи применили это восстановление матриц, вычисленное исключительно за счет рассуждений на текстовых математических задачах, точность восстановленной модели подскочила с базовых 7% до 70% на шести ранее не встречавшихся наборах визуальных бенчмарков. Восстановленная производительность достигла 83% от показателей неповрежденной базовой модели.

Оптимизация моделей смещается от капиталоемкой инфраструктуры к диалоговому исполнению по мере того, как масштаб открывает возможности интроспекции параметров. Когда автономная система исправляет рабочие веса за несколько часов на одном чипе, капитальные затраты на внешние пайплайны тонкой настройки сталкиваются с прямым экономическим давлением. Инженерные подразделения, оценивающие передовые внедрения, теперь должны решить: направлять ли аппаратные бюджеты на аренду многоузловых кластеров дообучения или перераспределять ресурсы в пользу самокорректирующихся архитектур, оптимизирующих внутренние матрицы на месте.

Для сравнения

Модель умудряется улучшать собственную точность вообще без градиентного спуска, но этот трюк напрочь ломает компактные архитектуры. Исследование Language Models Can Rewrite Their Own Weights показывает, что вместо прогона терабайтов данных через фермы GPU-кластеров достаточно запустить рассуждения прямо на единственном чипе. Система отсеивает опасный дрейф простой проверкой: три удачные правки весов из восьми сессий закрепились в матрицах только потому, что внутренние тесты подтвердили рост результатов. Порог жизнеспособности этой механики отсекает все легкие варианты и начинается строго с 27B параметров.

Источник: arXiv cs.AI