Nvidia открыла веса модели Magpie TTS на 364 млн параметров для 12 языков
Nvidia выложила в открытый доступ веса Magpie Multilingual TTS — компактной модели синтеза речи на 364 млн параметров. Разработка нацелена на устранение главного узкого места в разговорном ИИ: задержки до начала воспроизведения первого аудиофрагмента (Time to First Audio, TTFA). В архитектуре голосовых агентов модуль text-to-speech выступает финальным и наиболее критичным к задержкам звеном исполнения. Как отмечают инженеры Nvidia Марьям Мотамеди, Микьяс Деста, Джейсон Ли и Джейсон Рош, переход на открытую каскадную архитектуру позволяет компаниям развертывать генерацию речи в реальном времени полностью на собственных вычислительных мощностях, избегая сетевых издержек и непредсказуемых скачков задержки, характерных для закрытых проприетарных API.
Релиз поддерживает 12 основных языков из коробки: английский, испанский, французский, немецкий, итальянский, вьетнамский, китайский (севернокитайский), хинди, японский, современный стандартный арабский, корейский и бразильский португальский.
Для технических лидеров в сфере здравоохранения, финансов и клиентского сервиса этот шаг открывает четкие стратегические перспективы. Передача конфиденциальных голосовых данных через сторонние эндпоинты создает риски несоответствия регуляторным требованиям к хранению данных и приводит к заметным паузам в диалоге. Развертывание быстрого синтеза речи во внутреннем или выделенном локальном контуре избавляет от зависимости от внешних вендоров и превращает генерацию речи в реальном времени из постоянного источника уязвимостей в детерминированный инфраструктурный актив.
Источник: HuggingFace Blog