Синтез речи Представления диктора Анализ скрытых состояний
arXiv cs.SD

RSE-TTS: восемь векторов речевого образца и общие веса кодирования и синтеза

ArXiv:2611.15464

RSE-TTS сжимает речевой образец в восемь непрерывных векторов, а одну и ту же сеть использует для их извлечения и дальнейшего синтеза. Это уменьшает обучаемую часть без хранения всей акустической истории образца. Особенно интересен опыт с заменой скрытых состояний: авторы проверяют, где именно текст образца влияет на сходство голоса.

Метод. Global-модуль MOSS-TTS-Nano с 12 слоями и шириной 768 сначала получает текст образца, его аудиокоды и восемь обучаемых запросов. Выходы запросов становятся восемью векторами размерности 768. К ним добавляется проекция 192-мерного представления замороженного CAM++; второй проход того же Global-модуля использует эти условия и новый текст. Генерация авторегрессионная: Local порождает 16 индексов внутри очередного кадра, а представление кадра возвращается в Global для следующего шага. Замороженный декодировщик восстанавливает звук 48 кГц при 12,5 кадра/с. Восемь векторов не являются самостоятельным кодеком с известным битрейтом: это условие для синтеза.

Общие веса Global используются в двух разных проходах. Речь образца + её текст: Текст и аудиокоды задают первый проход. Global: проход образца: Новое: те же веса, что при генерации; 8 запросов. 8 векторов по 768: Новое: фиксированное компактное условие. CAM++, заморожен: 192-мерный голосовой признак; проекция добавляется к векторам. Новый текст: Содержание будущей речи. Global: проход генерации: Общие веса; новый текст и условие голоса. Local: 12,5 кадра/с: 16 кодов/кадр; кадр возвращается в Global. Декодирование 48 кГц. Новая речь, 48 кГц: Без полной акустической истории образца.
Схема по материалам статьи, раздел 3, рисунок 1 и таблицы 1, 3. Связь общих весов показана подписями; пунктир обозначает возврат нового кадра для следующего шага. Кодировщик кодека, проекция CAM++ и условия остановки опущены; восемь векторов являются условием синтеза, не битовым потоком компрессора.

Результаты. В сопоставимом обучении на 20 тыс. часов вариант с раздельными обучаемыми кодировщиками содержит 228,5 млн параметров, а общий RSE-TTS 118,2 млн. На Seed/CV3/MiniMax WER равен 1,33/2,63/0,64%, сходство диктора SIM 0,552/0,499/0,615. Продолжение всей исходной акустической истории сохраняет голос лучше: 0,591/0,526/0,684, но даёт больший WER 1,45/3,48/1,77%. Указанные 129,2 млн активных параметров цепочки генерации включают 11,1 млн декодировщика, но не все модули обработки образца.

Ограничения. Проверка преимущественно англоязычная и требует транскрипции образца; неправильный текст заметно меняет голос. Компактное условие не достигает сходства полноценного продолжения. Сокращение параметров не равнозначно измеренному RTF или задержке, которых для такого вывода недостаточно. Исследование скрытых состояний выполнено в определённых слоях и на ограниченной группе образцов, а не доказывает универсальное разделение текста и личности.

Фишка из статьи. Таблица 3 вмешивается в модель, запущенную с перевёрнутым текстом образца: в отдельные позиции подставляют состояния из запуска с правильным текстом. Без вмешательства SIM равен 0,497; правильный текст даёт 0,538. Эффект перемещается от ранних аудиопозиций к поздним восьми запросам.

Какие состояния восстановленыСлойSIM после замены
Никакие, текст перевёрнутНе применяется0,497
Аудиопозиции образца30,545
Аудиопозиции образца90,499
Восемь запросов30,503
Восемь запросов90,542

Как это читать: полезная информация сначала выражена в промежуточных акустических состояниях, а к поздним слоям собрана в компактных запросах. Поздняя замена аудиосостояний почти ничего не исправляет, тогда как замена запросов восстанавливает сходство. Обратные подстановки портят результат, что усиливает вывод о влиянии этих состояний, а не только о корреляции визуализаций внимания.

Источник. Оригинальное название: RSE-TTS: Compact Text-to-Speech through Shared Text-Aware Reference Encoding and Generation. arXiv:2611.15464; полный текст PDF.

Оригинальная статья на arXiv