Baidu открыла веса ERNIE 5.5 Flash на 280 млрд параметров без пост-тренинга
Baidu выпустила открытую базовую модель с общим объемом 280 млрд параметров (из которых активны 14 млрд), намеренно исключив этапы предварительной тонкой настройки и пост-тренинга. В результате корпоративным пользователям придется полностью взять на себя расходы на адаптацию архитектуры.
Компания опубликовала систему под названием ERNIE-5.5-Flash-Base на Hugging Face в форматах FP8 и BF16. Хотя релиз версии ERNIE 5.5 с пройденным пост-тренингом запланирован на более поздний срок, сейчас инженерным командам приходится нести операционные издержки по выстраиванию собственных пайплайнов дообучения сырых весов. Пост-тренинг модели такого масштаба требует серьезной вычислительной инфраструктуры, включая кластеры высокопроизводительных ускорителей вроде NVIDIA H100 или их аналогов, способных обеспечить необходимую пропускную способность памяти и расчет градиентов для выравнивания (alignment) и тонкой настройки. И хотя точные финансовые показатели Baidu не раскрывает, корпоративным заказчикам придется заложить в бюджет тысячи GPU-часов, а также существенные счета за электроэнергию и аренду вычислительных мощностей, чтобы компенсировать отсутствие готовой доработки.
Согласно технической документации Baidu, модель прошла предварительное обучение на массиве из 33,5 трлн токенов с начальным контекстным окном до 128 000 токенов. Архитектура поддерживает контекст до 1 млн токенов как на этапе тонкой настройки, так и при инференсе, что накладывает жесткие требования к пропускной способности памяти и вычислительным кластерам внедряющих организаций.
Baidu позиционирует решение как прямого конкурента открытым базовым моделям вроде DeepSeek V4 Flash и MiMo V2.5 в стандартных бенчмарках на логические рассуждения, генерацию кода и обработку длинного контекста.
Подобная стратегия дистрибуции позволяет Baidu оптимизировать собственные затраты на вычислительные мощности, перекладывая финальные этапы доработки на конечное сообщество и корпоративных клиентов.
Как это выглядит рядом
Кто выигрывает от выхода чистых базовых весов без финальной полировки? Baidu явно экономит на финальном выравнивании, перекладывая счета за кластеры ускорителей уровня NVIDIA H100 и дообучение на самих клиентов. Вместо готового сервиса бизнес получает полуфабрикат, обученный на 33,5 трлн токенов.
Источник: The Decoder