Синтез речи Редактирование аудио Управление стилем
arXiv eess.AS

DialInstruct-TTS: диалоговое редактирование выразительной речи с локальным управлением во времени

ArXiv:2611.13875

DialInstruct-TTS позволяет последовательно просить изменить темп, громкость или эмоцию выбранного фрагмента, сохраняя остальное произношение. Интересна не столько способность понять очередную инструкцию, сколько попытка ограничить накопление акустических изменений при повторном редактировании одной записи.

Метод. Замороженный Qwen3-8B переводит диалог в структурированный план с текущими и предыдущими правками. В Irodori-TTS заморожены RF-DiT и декодер DACVAE, обучаются добавленные контроллеры. Текстовый диапазон через MFA связывается с временными масками; отдельные ветви управляют эмоцией, длительностью, энергией и шёпотом. При изменении темпа и громкости на каждом шаге генерации закрепляется траектория скрытого представления вне редактируемой области. DACVAE здесь служит непрерывным представлением синтеза, а не заявленным самостоятельным кодеком с известным битрейтом.

Результаты. В пятишаговом опыте на 20 источниках совместный успех управления и сохранения текста достигает 75% для темпа, 20% для громкости и 60% для отмены изменения темпа. Без закрепления это 30%, 5% и 25%. На пятой правке расстояние между мел-спектрами вне текущей области равно 4,19 дБ против 23,48 дБ на 18 общих пригодных парах. Но никогда не редактировавшиеся области всё равно отходят от исходной записи на 14,75 дБ.

Ограничения. Только японская речь, четыре категории эмоций и фиксированный текст. MFA участвует и в текущем выводе, так что независимая точность локализации не доказана. Локальные MOS условны по предварительному выбору предпочтительного варианта. Надёжность управления громкостью низкая; эффект закрепления не установлен отдельно для эмоций. Ни задержка интерактивной системы, ни полноценная пользовательская надёжность из этих опытов не следуют.

Фишка из статьи. Таблица 13 на с. 18 сохраняет в знаменателе все попытки, включая недоступные оценки и сбои. Это полезнее отчёта только по удавшимся правкам: между удобством интерфейса и надёжным акустическим редактированием остаётся большой разрыв.

ОперацияС закреплениемБез закрепления
Изменение темпа15/206/20
Изменение громкости4/201/20
Отмена изменения темпа12/205/20

Как это читать: Совместный успех требует одновременно попасть в целевое изменение и сохранить разборчивость. Поэтому 4/20 по громкости нельзя выдавать за готовый надёжный инструмент, даже при больших улучшениях сохранности фона. Отдельно следует измерять текущие нетронутые области, исходно нетронутые области и старые уже принятые правки.

Источник. Оригинальное название: DialInstruct-TTS: Interactive Expressive Speech Generation via Multi-Turn Dialogue with Fine-Grained Temporal Control. arXiv:2611.13875; полный текст PDF.

Оригинальная статья на arXiv