Шумоустойчивое выравнивание разговорной речи: WavLM и явные модели неречевых вокализаций вместо MFCC

Классическое выравнивание текста и речи часто ломается не на обычных словах, а возле смеха, запинок и в шуме. Авторы сохраняют GMM-HMM и меняют его наблюдения и фонетический словарь: вместо MFCC используют WavLM, а заполненные паузы и вокализации получают собственные единицы. Это пример полезного сочетания современного кодировщика с хорошо понятной вероятностной моделью длительности.

Метод. Замороженный WavLM-Large выдаёт признаки 22-го слоя с шагом 20 мс. Их интерполируют до 10 мс и сжимают PCA до 39 измерений, иначе начальное обучение GMM нестабильно. После монофонного этапа обучается LDA и трифонная модель; все временные метки получаются самовыравниванием, без внешней ручной разметки границ. В словаре есть отдельные единицы UH, UM и двенадцать событий, включая смех, вдох и кашель. Шумоустойчивая LDA обучается на чистых и зашумлённых копиях с общими покадровыми метками. Корпус содержит 149,1 часа из семи источников с дословными расшифровками.

Результаты. Средняя ошибка границ слов равна 20,6 мс на Buckeye против 25,3 мс у MFA us_arpa с достаточно широким поиском. На FluencyBank получены 76,9 мс против 93,2 у CrisperWhisper 2.0, а на читаемом TIMIT преимущество остаётся у MFA: 18,6 против 20,5 мс. При гауссовом шуме 0 дБ ошибка составляет 96 мс против 417 у MFA us_arpa. На Buckeye ошибки более 200 мс встречаются в 0,37% случаев против 0,98%, то есть примерно в 2,7 раза реже.

Ограничения. Метод требует известной дословной расшифровки, включая события, и проверен на английском. Отсутствие ручных границ не означает отсутствия речевой предобученной модели или текстовой разметки. Для систем, одновременно распознающих текст, считаются только точно совпавшие слова; при сильном шуме это может резко уменьшать покрытие и делать их небольшую MAE обманчивой. Извлечение WavLM требует дополнительных вычислений, а отдельная оценка скорости полного выравнивателя не является главным результатом работы.

Фишка из статьи. Авторы обнаружили, что часть кажущегося проигрыша MFA обусловлена слишком узким поисковым лучом, а не только акустическими признаками. Ниже MAE на Buckeye из раздела 4 и таблицы 3.

Как это читать: расширение луча с 10/40 до 400/4000 почти вдвое улучшает сильную исходную MFA. Поэтому сравнивать новый алгоритм только с настройками пакета по умолчанию было бы некорректно. WavLM-GMM сохраняет выигрыш и после этого контроля; отдельно единицы вокализаций уменьшают ошибку рядом со смехом с 107,8 до 52,4 мс в варианте с чистой LDA.

Источник. Оригинальное название: Noise-Robust Forced Alignment for Spontaneous Speech. arXiv:2610.22583; полный текст PDF.