ACL: раздельные представления слов и стиля речи и границы их проверки линейными классификаторами

Низкая точность извлечения нежелательного признака из речевого представления ещё не означает, что признак удалён. ACL разделяет содержание слова и манеру произнесения, а затем проверяет латентные пространства несколькими несовпадающими способами. Работа полезна как предупреждение для преобразования голоса и анонимизации: линейный пробник может не видеть структуру, которая остаётся заметной при другом анализе.

Метод. Тройка примеров содержит одно слово от двух говорящих и другое слово от второго говорящего. Один кодировщик извлекает лексический вектор из первого произнесения, другой стилевой вектор из второго слова; общий декодировщик восстанавливает признаки HuBERT для нужного слова нужным голосом. Каждый вектор имеет 128 измерений, вместе 256. Обучение не требует отдельных меток эмоций или ортогональности пространств, но построение троек использует известные слова и говорящих. Опыты выполнены на одиночных английских словах MLS с непересекающимися говорящими.

Результаты. Лексический вектор достигает AP 0,90 и точности определения слова 84,0%; стилевой сохраняет точность определения диктора 97,9%. При этом слово из стилевого вектора линейно восстанавливается лишь с точностью 0,17%, но Fisher-отношение по словам остаётся 0,86. Кластерный анализ даёт скорректированную взаимную информацию ASE с метками слов 0,24 и с дикторами 0,44. Поэтому почти нулевой линейный результат не эквивалентен полностью независимому от содержания стилю.

Ограничения. Объём реального обучающего аудио около 17 часов, слова короткие, речь книжная; большое число комбинируемых троек не создаёт столько же новых независимых записей. Fisher и кластерные показатели тоже не являются универсальным доказательством объёма сохранённой информации. Групповая перестановка eGeMAPS объясняет суррогатный Random Forest по меткам кластеров, а не непосредственно исходный нейросетевой декодировщик. Нет проверки анонимизации против сильного нелинейного противника или переноса на спонтанный разговор.

Фишка из статьи. Таблица IV показывает асимметрию диагностик. Здесь одна строка на целевой фактор в каждом пространстве; Fisher измеряет отношение межклассовой и внутриклассовой вариации, а не вероятность правильного ответа.

Как это читать: последняя строка особенно показательна: плохая линейная читаемость сосуществует с заметной организованной вариацией. Акустическая интерпретация связывает AWE прежде всего с MFCC и спектральным балансом, ASE с динамикой F0. Это согласуется с моделью «источник–фильтр», но не доказывает физиологически чистое разделение всех факторов речи.

Источник. Оригинальное название: Asymmetric Correspondence Learning for Lexical and Style Embeddings: Interpreting Latent Space via Acoustic Features. arXiv:2611.09313; полный текст PDF.