Microsoft: MAI-Voice-2-Flash

Суть

Это модель синтеза речи Microsoft: она преобразует текст в естественное, выразительное аудио и рассчитана на сценарии, где важна быстрая реакция. Поддерживаются готовые голоса для разных языков; управлять подачей и эмоциями можно с помощью SSML. Модель доступна через Azure Speech SDK и Voice Live.

Сильные стороны

Главная особенность — сочетание низкой задержки с выразительной интонацией и ритмом речи. Это позволяет использовать синтез в интерактивном диалоге, а не только для заранее подготовленных записей. В SSML можно задавать стиль озвучивания, например эмоциональную окраску. Также предусмотрено клонирование голоса по образцу, но эта функция требует отдельного разрешения и согласия на использование голоса.

Типовые сценарии

Модель подходит для голосовых агентов и помощников, интерактивных сервисов, систем IVR и общения с клиентами по телефону. Её также можно применять для озвучивания интерфейсов и других продуктов, где аудио создаётся в ответ на запрос пользователя и важно не задерживать разговор.

Ограничения

Модель предназначена прежде всего для низколатентных сценариев; для длительной непрерывной озвучки Microsoft отдельно выделяет другую модель семейства MAI-Voice. Согласно документации Microsoft, MAI-Voice предоставляется в режиме публичной предварительной версии: условия и доступность функций могут быть ограничены, а для клонирования голоса требуется специальный допуск и подтверждённое согласие. Настройка синтеза через SSML и доступ к сервису зависят от используемой инфраструктуры Azure.