SNOAR: самообучение шумоподавлению с восстановлением подавленной речи без чистых эталонов
При самообучении шумоподавлению ученик наследует не только успехи учителя, но и удалённые им фрагменты речи: в псевдоэталоне их уже нет. SNOAR исправляет оценки до обучения ученика — фильтрует остаточный шум и возвращает небольшую часть исходной записи. Это позволяет восстановить полезный сигнал, не раскручивая обратную связь в сторону копирования всего зашумлённого входа.
Метод. Как в RemixIT, оценки речи одной записи смешиваются с оценкой шума другой. Перед смешиванием differential noise filtering (DNF) очищает оценку речи с опорой на собственный шумовой выход учителя, а observation adding (OA) добавляет долю исходного наблюдения с коэффициентом γ. Ученик обучается по SI-SDR, учитель обновляется экспоненциальным усреднением весов. Авторы анализируют неподвижные точки такого цикла и показывают, почему обе коррекции должны работать совместно.
Результаты. На WHAM! при старте с MixIT SNOAR достигает SI-SDR 13,25 дБ против 12,10 у RemixIT и 13,68 у модели с чистыми эталонами. PESQ равен 2,02 против 1,61, WER — 10,9% против 13,3%. На реальном CHiME-3 для учителя, обученного только по зашумлённым записям, WER снижается с 22,1% до 18,4%, UTMOS растёт с 1,62 до 2,10. Для двух более сильных учителей также улучшаются все приведённые показатели.
Ограничения. Проверены одноголосные сцены WHAM! и один канал CHiME-3; переноса на перекрывающиеся голоса и тяжёлую реверберацию не показано. На реальных записях нет чистого эталона и субъективного теста. Параметры и контрольные точки выбираются по UTMOS, что связывает процедуру отбора с одной из отчётных метрик; теоретический анализ использует упрощённую модель ошибок учителя.
Фишка из статьи. Добавление исходной записи — полезная, но не самодостаточная операция. Абляция на WHAM! показывает резкий коллапс без DNF или при чрезмерной доле наблюдения.
| Вариант | SI-SDR, дБ | PESQ | WER, % | Остаточный шум λ |
|---|---|---|---|---|
| SNOAR, γ=0,2 | 13,25 | 2,02 | 10,9 | 0,031 |
| Без добавления наблюдения, γ=0 | 12,33 | 1,84 | 11,2 | 0,018 |
| Без DNF | 0,23 | 1,13 | 17,6 | 0,697 |
| Слишком сильное добавление, γ=0,5 | −0,82 | 1,11 | 19,9 | 0,899 |
Как это читать: вариант без OA оставляет даже меньше шума, но уступает полной схеме по качеству и распознаванию. Выигрыш SNOAR состоит в сохранении речи и уменьшении артефактов; минимальный остаточный шум сам по себе не является лучшей целью.
Источники. Страница arXiv; PDF статьи. Оригинальное название: SNOAR: Self-training with Noise filtering, Observation adding, and Remixing for Speech Denoising Without Clean References.