Pika выложила в открытый доступ веса модели H3 Flex для генерации видео со
Сокращение шагов денойзинга с 50 до 6 в модели H3 Flex позволяет генерировать 15 секунд видео разрешением 768p со стереозвуком быстрее самого воспроизведения, затрачивая на работу трансформера 7 секунд. Как объяснили в Pika, разработчики сформировали LoRA-адаптер на базе 33B-модели MiniMax H3, применив дистилляцию с последующим RL.
Дистилляция моделей и открытые LoRA-адаптеры снижают стоимость генерации видео, делая локальные вычисления жизнеспособными для инфраструктуры разработчиков. Локальный запуск требует серьезных вычислительных мощностей: для обработки таких объемов данных на собственном железе необходимы производительные кластеры графических процессоров с высокой пропускной способностью памяти, что формирует значительные капитальные затраты на GPU и электроэнергию. При этом точные цифры расходов на инференс H3 Flex на собственной инфраструктуре в открытых источниках и документации разработчиков на данный момент не зафиксированы.
Локальный запуск ограничен разрешениями 480p и 768p при длительности от 5 до 15 секунд, в то время как разрешения 1080p–4K и пять раздельных аудиодорожек доступны исключительно через API Pika, что переносит часть тяжелой вычислительной нагрузки на инфраструктуру провайдера.
Коммерческое использование H3 Flex регламентировано community-лицензией от MiniMax, условия которой вам необходимо изучить перед запуском коммерческого проекта.
Где подвох
Шесть шагов денойзинга вместо пятидесяти превращают тяжелую генерацию в быстрый локальный процесс, но базовое разрешение 768p с адаптером от Pika лишь повторяет то, что в начале августа выдавала базовая модель H3-Base. При этом вся тяжелая часть с картинкой до 4K и пятью аудиодорожками остается закрытой в облаке разработчиков, а расходы на собственные GPU-кластеры компания в документации не раскрывает. Готовы ли команды вкладываться в дорогое железо ради открытых 768p под лицензией MiniMax, пока максимальное качество 4K заперто в чужом API?
Наши материалы: MiniMax-H3: нативная генерация 2K-видео и аудио в одной модели (3 августа).
Источник: Telegram: Deep Learning