Распознаваемость не равна управляемости: где можно менять голос в синтезе с непрерывными представлениями
Высокая точность определения диктора по скрытому состоянию ещё не означает, что изменение этого состояния переключит голос синтеза. Работа проверяет этот разрыв в VoxCPM2, сопоставляя линейные диагностические классификаторы и вмешательства одинаковой нормы. Управление оказывается локальным по слоям и позициям: важны не только имеющиеся сведения о голосе, но и путь их передачи в акустическую генерацию.
Метод. На 30 дикторах и 60 направленных парах сравниваются согласованная разность состояний двух голосов, случайное и ортогональное направления, а также аудио-, текстовые и последние позиции. Нормы вмешательств уравниваются. Точность диагностического классификатора проверяется с группировкой по тексту; акустический результат оценивают ECAPA, независимый CAM++, поиск среди отложенных голосовых прототипов и слепое прослушивание. Дополнительный опыт на dots.tts проверяет другой маршрут голосового условия.
Результаты. В начале RALM согласованный сдвиг повышает сходство с целевым голосом на 0,326 и делает его предпочтительнее исходного во всех 60 парах по основному критерию. Но поиск правильного голоса среди 30 независимых прототипов успешен лишь для 46 из 60: это более строгая задача. В последнем слое голос классифицируется с точностью 0,970, а направленного акустического переключения нет.
Ограничения. Изучены конкретные архитектуры, небольшой набор голосов и короткий набор текстов. Результат не означает, что найден универсальный редактор голоса или что скрытые состояния полностью разделяют содержание и личность. Пары повторно используют участников, поэтому важна кластеризация неопределённости. В dots.tts вмешательство в основной трансформер может отдалить голос от исходного и ухудшить WER, но не приблизить к целевому из-за отдельного акустического x-vector.
Фишка из статьи. Таблица 1 даёт прямое сопоставление распознаваемости и управления в одних и тех же аудиопозициях.
| Слой RALM | Точность классификатора | Прирост целевого сходства | Целевой голос доминирует |
|---|---|---|---|
| L0 | 0,947 | +0,326 | 60 из 60 |
| L3 | 0,963 | +0,227 | 52 из 60 |
| L7 | 0,970 | 0,000 | 0 из 60 |
Как это читать: информация о дикторе сохраняется глубоко, но её причинная доступность для изменения звука исчезает. Поэтому поиск управляемого слоя по максимальной точности диагностического классификатора может выбрать прямо противоположную точку. Нужны согласованные направления, контроль нормы и проверка приближения именно к цели, а не просто нарушения исходного голоса.
Источник. Оригинальное название: Decodability Is Not Controllability: Local and Anisotropic Speaker Control in Continuous-Latent TTS. arXiv:2610.29345; полный текст PDF.