PrismML сжимает языковые модели до 4 ГБ: отказ от серверных GPU обрушит доходы
Модель с 27 миллиардами параметров, упакованная в 16 бит, занимает около 54 ГБ, требуя тяжелых серверных GPU-кластеров, тогда как однобитное сжатие весов позволяет уложить сопоставимый объем в 4 ГБ видеопамяти.
Облачные провайдеры и разработчики тяжелых архитектур годами строили бизнес-модель вокруг бесконечного роста параметров и аренды дорогого железа, но появление эффективных схем квантизации ставит под вопрос саму необходимость облачной инфраструктуры для инференса.
Архитектура сжатия и тупик наивных подходов
Экономика локального запуска упирается в физический размер весов, и попытки упаковать модели до минимального объема традиционно упирались в деградацию качества генерации. Простая послойная обрезка весов убивает модель, превращая ее в генератор случайного мусора, так как грубое округление разрушает внутренние зависимости.
Bonsai от PrismML использует именно такую схему хранения весов в трансформерных блоках, но при этом сохраняет работоспособность.
Как пояснил руководитель компании Бабак Хассиби (Babak Hassibi), один из создателей метода Optimal Brain Surgeon, попытка повторить этот результат через послойный решатель на основе гессиана показывает, что оптимизация под калибровочные данные приводит к переобучению, когда ошибка на стороннем тексте вырастает в два-три раза из-за необусловленных направлений матриц.
Финансовые последствия для облачного рынка
Переход к однобитной квантизации бьет по ключевой статье доходов облачных гигантов — продаже вычислительных часов под тяжелые инференс-задачи. Когда модель с миллиардами параметров помещается на потребительскую видеокарту благодаря правильному подбору масштабов и обучению, компаниям больше не нужно платить за облачные кластеры.
Как следует из документации, Bonsai-1.7B с этой схемой хранения показывает перплексию 16,5, тогда как у оригинальной Qwen3-1.7B она равна 12,3.
Разработчики выложили формат, вычислительные ядра для llama.cpp и MLX, а также простой инструмент квантизации, однако не раскрыли метод получения самих весов, оставляя рынку пространство для самостоятельных экспериментов с дистилляцией. При этом косинусное сходство таких моделей с оригинальными базовыми версиями падает до 0,49 при доле несовпадающих знаков в 29 %, что доказывает отказ от простого копирования в пользу поиска принципиально иной точки с минимумом потерь эффективности.
В PrismML зафиксировали падение перплексии при закрытых методах обучения весов и открытых ядрах для llama.cpp. На наш взгляд, это формирует новый стандарт локальной экономии, который заставит облачных провайдеров пересматривать тарифную политику.
Источник: Хабр ML