Адаптация CTC к мешающей речи через ограничение избыточных выходных токенов

При распознавании смеси речей CTC-модель может не только ошибаться в словах, но и выдавать лишние токены от мешающего говорящего. Авторы ограничивают ожидаемую длину свёрнутой CTC-последовательности, сравнивая её с ответом замороженной модели на чистом сигнале. Получается небольшое, но измеримое улучшение без дополнительного блока при распознавании; устойчивость к другим помехам при этом не гарантируется.

Метод. Основа: wav2vec 2.0 Base, обученный на 960 часах LibriSpeech. Внимание в двух нижних слоях адаптируется через LoRA; обучаются 147456 параметров на двух часах размеченной речи. Для каждого чистого примера заранее сохраняется одно число: ожидаемое количество небланковых токенов после схлопывания повторов. Оно вычисляется из покадровых вероятностей, а не из эталонной транскрипции. Односторонний квадратичный штраф включается только при превышении чистого ориентира. Основная CTC-функция потерь по правильному тексту сохраняется, поэтому это не адаптация без разметки.

Результаты. На закрытом тесте LibriSpeech при одном заранее выбранном начальном состоянии WER для мешающей речи снижается с 45,198 до 44,323%: 0,875 п.п., или около 1,94% относительно исходного значения. Объединённый WER уменьшается с 25,652 до 25,311%. Чистая речь практически не меняется: 3,492 и 3,496%. Для шума результат слегка ухудшается, 13,566 против 13,692%; для музыки улучшается, 18,191 против 17,918%. При новых мешающих голосах VCTK выигрыш составляет 0,307 п.п., но целевая речь остаётся из LibriSpeech.

Ограничения. Обучение очень короткое, целевая область одна, тестовая проверка одного запуска не заменяет многократного обучения. Три начальных состояния сравниваются на проверочной, а не закрытой тестовой части. Отношение сигнал/помеха лежит в диапазоне 0–20 dB: более громкий мешающий говорящий не проверен. Метод не устанавливает личность целевого говорящего и не является системой разделения источников. Более долгое обучение в статье даёт больший выигрыш на речевой помехе, но ухудшает музыку и шум.

Фишка из статьи. Таблица 3 сравнивает разные определения избыточного выхода на одном проверочном наборе и одном начальном состоянии. Учитывать число небланковых кадров оказывается недостаточно.

Как это читать: три одинаковых соседних токена схлопываются в один, а два одинаковых токена через бланк остаются двумя. Поэтому занятость кадров и длина ответа описывают разные ошибки. Абляция поддерживает именно выбор свёрнутой длины, а не общее утверждение, что любой штраф за активность лечит речевые вставки. Числа этой таблицы относятся к проверочной части и не подменяют приведённый выше закрытый тест.

Источник. Оригинальное название: Clean-anchored excess-emission control for CTC adaptation under competing speech. arXiv:2611.03900; полный текст PDF.