Где содержится тембр: локализация информации о дикторе в речевом сигнале и токенах

Работа ищет сведения о голосе сразу на нескольких уровнях: в частотных полосах, амплитуде и фазе, модели источник–фильтр, скрытых слоях и дискретных токенах. Важно различать машинную распознаваемость человека и воспринимаемое сходство тембра: сигнал может сохранять первое, почти не сохраняя второго. Такая диагностика полезна для преобразования голоса и аудита анонимизации.

Метод. Авторы выполняют контролируемые спектральные замены, WORLD-разложение, диагностическую классификацию по самообученным слоям и гистограммам токенов. Используются китайская, английская и японская речь, пение, эмоциональные записи и слепой опыт с 45 слушателями. Частотный анализ дополнен высокочастотными мел-признаками, поскольку основной WavLM-оценщик на 16 кГц сам не способен проверить полосу выше 8 кГц.

Результаты. Сохранение амплитуды при изменённой фазе удерживает 81,6% исходной различимости дикторов по WavLM и 77,1% по ECAPA. Сохранение только фазы почти уничтожает её в данном опыте. Для ECAPA сохранённая спектральная огибающая удерживает 79,3% сходства, а один F0 — 26,2%. Самые информативные скрытые слои расположены рано: у WavLM на AISHELL-1 точность достигает 99,8% в L1 против 94,8% в последнем слое.

Ограничения. Большинство классификаторов работают с закрытым списком дикторов, а не с открытой верификацией. Искусственное изменение спектра может создавать неестественные записи; результат не означает ненужности фазы для качества восстановления речи. Гистограмма игнорирует порядок токенов и не характеризует всю доступную генератору информацию. Высокая точность диагностики не равна готовой атаке на приватность в любом домене.

Фишка из статьи. Таблица VI показывает, что дискретизация сама по себе не удаляет личность. На одном слое HuBERT L6 количество центроидов резко меняет остаточную информацию.

Как это читать: одинаковое слово «семантические токены» может скрывать очень разную степень голосовой утечки. Более подробное квантование сохраняет значительно больше различий между людьми, даже в не учитывающей порядок гистограмме. Для анонимизации и разделения содержания с голосом нужно проверять конкретный слой, словарь и протокол, а не полагаться на название кодировщика или факт наличия дискретного узкого представления.

Источник. Оригинальное название: Where Does Timbre Hide? Localizing Speaker Information in Speech Signals. arXiv:2610.29150; полный текст PDF.