Разделение языковой и паралингвистической информации с помощью маршрутизируемых разреженных автоэнкодеров
Авторы пытаются разложить речевое представление на два управляемых маршрута: языковой, отвечающий за фонетическое содержание, и паралингвистический, сохраняющий говорящего и манеру речи. В отличие от обычной оценки отдельными пробами, работа вмешивается в скрытый код и проверяет, можно ли заменить только фонемы или только голос между парами записей.
Метод. Поверх SPEAR XL и WavLM Large обучается Top-K разреженный автоэнкодер с фиксированными или постепенно замораживаемыми квотами маршрутов. Разметка маршрута задаёт, какие признаки должны идти в языковую и паралингвистическую части, а перекрёстные состязательные потери запрещают каждой части нести чужой фактор. Обучение проводится на LibriSpeech, перенос — на MSP-Podcast.
Результаты. Для SPEAR XL фиксированный вариант получает PER 10,02% по языковому коду и 99,8% точности распознавания говорящего по паралингвистическому; утечка личности в языковую часть снижается до 6,2%. При обмене паралингвистическим кодом фонемы сохраняются в 99,57% случаев, а голос донора появляется в 98,0%. Обмен языковым кодом заменяет фонетическое содержание в 94,26% пар и сохраняет голос получателя в 96,0%.
Ограничения. Независимые классификаторы и синтетические обмены не доказывают полной причинной независимости факторов. Проверены два энкодера и ограниченное число корпусов, а маски маршрутов задаются конструкцией метода. Разделение повышает ошибку восстановления, поэтому полезность для генеративного кодека ещё не показана.
Фишка из статьи. Состязательные потери оказываются несущей частью метода, а не небольшим регуляризатором. Без них языковой маршрут почти полностью возвращает личность говорящего, а паралингвистический снова начинает хорошо кодировать фонемы.
| Вариант SPEAR XL | SID из языкового кода | PER из паралингвистического кода | Что произошло |
|---|---|---|---|
| Фиксированный, полный | 6,2% | 99,60% | хорошее разделение |
| Фиксированный, без состязательных потерь | 99,8% | 66,64% | личность вернулась в языковой код |
| Замораживание квот, полный | 0,6% | 80,26% | ещё меньше утечки личности |
| Замораживание квот, без состязательных потерь | — | 12,36% | паралингвистический код снова несёт фонемы |
Как это читать: высокая разреженность сама по себе не разделяет факторы. Маршрутизация задаёт место, но именно перекрёстное запрещение информации заставляет два пространства специализироваться.