Поиск интерпретируемых акустических признаков в авторегрессионных моделях клонирования голоса

Из внутренних активаций синтезатора можно предсказать высоту, шумность или стиль, но это ещё не означает возможность независимо ими управлять. Авторы последовательно разделяют три вопроса: читается ли свойство из признаков, меняет ли вмешательство нужный звук и можно ли дать признаку воспроизводимое человеческое описание. Разреженные автокодировщики оказываются полезны для поиска понятий, но не универсально лучше PCA.

Метод. В Qwen3-TTS и ещё пяти моделях Fish, Higgs и CosyVoice2 сравниваются обученные и случайные SAE, главные компоненты и случайные направления. TopK-SAE раскладывает активации по словарю при максимум 96 активных признаках на токен. Используется корпус 3,3 тыс. часов, 1,5 млн реплик, разделённый по идентификаторам говорящих; для части моделей берётся 20%. Линейные пробы проверяют известные акустические и человеческие метки. Затем вмешательство в направление активации проверяется по целевому изменению, посторонним свойствам, WER и UTMOS, а не только по точности пробы.

Результаты. На автоматической интерпретации 500 признаков слоя 19 Qwen3-TTS SAE даёт 92 прошедших все критерии признака, случайные направления 17, PCA один. При расширенном поиске авторы сообщают 684 автоматически проверенных SAE-признака. Независимая человеческая проверка на подмножестве даёт соответствие описанию 64,4% для автоматически принятых и 51,0% для отклонённых, при случайном уровне 50%. Это умеренная полезность фильтра, а не безошибочная интерпретация каждого признака. Управление и качество существенно зависят от модели и свойства; высокая точность пробы не гарантирует причинного управления.

Ограничения. Одна и та же Gemini генерирует и автоматически проверяет описания, поэтому автоматический отбор не является независимой истиной. Основной поиск новых понятий относится к Qwen3-TTS; другие архитектуры изучены меньше и с иным объёмом данных. Проверка вмешательства использует 100 исходных реплик, 32 голоса и тексты LibriTTS-R; качество оценивается преимущественно автоматикой. Многие найденные признаки описывают смесь тембра, акцента и канала, а не единственную физическую переменную. Масштаб SAE, слой и способ объединения токенов влияют на сравнение с PCA.

Фишка из статьи. Таблица 1 показывает, зачем нужны сразу несколько критериев интерпретируемости. Coherence проверяет обнаружение чужого примера среди активирующих, Label Fit соответствие описанию на новых записях, Stability воспроизводимость описания.

Как это читать: случайные направления почти догоняют SAE по одному соответствию описанию, но намного слабее по согласованности и устойчивости. Поэтому красивое название с хорошим бинарным распознаванием недостаточно: его можно получить даже для случайной проекции сложного голосового пространства. Человеческий результат 64,4% дополнительно ограничивает уверенность: такие признаки полезны как исследовательские гипотезы, но ещё не как гарантированно независимые ручки синтезатора.

Источник. Оригинальное название: Discovering Interpretable Acoustic Features in Autoregressive Voice-Cloning TTS Models. arXiv:2610.40505; полный текст PDF.