Google внедряет фазу сна для снижения затрат на переобучение моделей
Современные большие языковые модели сталкиваются с жестким ограничением даты актуальности знаний, что вынуждает разработчиков проводить полный цикл повторного обучения для интеграции новых предметных данных. Как отмечают аналитики Google Research, традиционные обновления весов приводят к катастрофическому забыванию, при котором освоение новых задач ухудшает ранее приобретенные навыки. Опора исключительно на расширенные контекстные окна ограничивает сохранение информации рамками одной сессии, после чего загруженные данные полностью исчезают. Чтобы устранить этот барьер капитальных затрат, исследователи представили фреймворк sleep для непрерывной адаптации LLM.
Консолидация памяти и фаза сна
Этот подход разделяет жизненный цикл модели между активным выводом и выделенной фазой сна. Во время активного окна модель обрабатывает запросы и направляет временные оперативные данные в компоненты быстрой кратковременной памяти. Как только запускается фаза сна, обработка внешних запросов полностью останавливается, перенаправляя внутренние вычислительные мощности на консолидацию памяти и автономное самосовершенствование.
Во время автономных циклов сна модель задействует предварительно выделенные блоки Mixture-of-Experts и обновляет свои веса с использованием самостоятельно сгенерированных синтетических примеров.
Данная архитектура предотвращает катастрофическое забывание за счет динамического масштабирования емкости посредством специализированных механизмов маршрутизации, а не изменения базового набора параметров.
Автономная оптимизация и финансовый эффект
В ходе цикла сна фреймворк выполняет рутинную автоматизированную оптимизацию, аналогичную быстрой фазе сна в биологических системах. Маршрутизатор Mixture-of-Experts активирует спящие модули экспертов для синтеза фрагментированных предметных областей и извлечения скрытых закономерностей из недавних логов. Затем система генерирует синтетические обучающие батчи, применяя градиентную фильтрацию для проверки полезности примеров перед интеграцией весов.
Для корпоративных заказчиков поддержание актуальности баз знаний без капиталоемкого предварительного обучения напрямую решает проблему растущих расходов на обслуживание моделей. Поддерживая емкость контекста до 10 миллионов токенов и автономно интегрируя факты предметной области, эта архитектура устраняет традиционный операционный разрыв между бюджетами на обучение и инференс.
Сравнение подходов
Компании сталкиваются с дорогостоящими циклами полного повторного обучения ради обновления знаний, однако постоянная работа моделей только в режиме активного вывода оставляет после себя лишь временные данные сеансов. Переход к отдельной фазе сна требует полной остановки обработки внешних запросов, чтобы внутренние вычислительные мощности могли консолидировать память и активировать спящие экспертные модули без возникновения катастрофического забывания. Маршрутизация временных данных в кратковременное хранилище и их синтез в динамическую емкость позволяют архитектурам автономно сохранять операционный интеллект. Консолидируя память во время простоя, модели удерживают корпоративные знания в рамках емкости до 10 миллионов токенов без запуска полноценного цикла повторного обучения.
Источник: Google Research Blog