Обучение улучшению речи по зашумлённым целям и непарным чистым записям с помощью drifting
Работа объединяет две неполные формы надзора: сохранение содержания через обучение на зашумлённых целях и приближение к распределению чистой речи через drifting. Для второго критерия не нужна чистая версия именно входной записи. Выбор пространства качества вместо фонетического пространства важен: у непарных записей разные слова, и прямое согласование их содержания было бы неверной целью.
Метод. К исходному шумному сигналу добавляется ещё шум, а целью NyTT становится выход усредняемого учителя. Дополнительно признаки усиленного сигнала в замороженном UrgentMOS сдвигаются к признакам независимых чистых записей EARS. Поле сдвига строится через дебайасированный Sinkhorn-перенос с притяжением к чистой выборке и взаимной коррекцией выходов. Комплексная DPRNN-маска содержит около 1,5 млн параметров; учитель и оценщик используются для обучения. Исследуются VoiceBank-DEMAND и адаптация к настоящим CHiME-3-записям.
Результаты. На VoiceBank-DEMAND добавление непарного drifting к NyTT+ меняет PESQ с 2,63 до 2,69, UTMOS с 3,81 до 3,93 и DNSMOS с 3,53 до 3,59, сохраняя SI-SDR 18,58 дБ. Без Sinkhorn PESQ падает до 2,61, а при замене пространства оценки качества на DistillHuBERT остаётся 2,63. Дрейф без сохраняющего содержание критерия значительно слабее по верности сигнала: у исходного DriftSE SI-SDR лишь 6,60 дБ.
Ограничения. Непарный режим всё равно требует доступа к чистому корпусу и дополнительному шуму. Критерий в пространстве предсказателя качества может наследовать его предпочтения; подробное сравнение с прямой максимизацией оценки отложено. На реальном аудио SI-SDR оценивает другая модель, истинного чистого эталона нет. Статистическая значимость автоматических шкал не устанавливает человеческое предпочтение и не гарантирует пригодности для распознавания.
Фишка из статьи. Таблица 2 на реальном CHiME-3 особенно полезна как предупреждение о выборе целевой метрики. WER измеряется Whisper Large v2, меньше лучше.
| Обработка | WER, % | DNSMOS | UTMOS |
|---|---|---|---|
| Без обработки | 6,7 | 2,47 | 1,39 |
| Парное обучение на другом корпусе | 16,3 | 3,43 | 2,54 |
| Адаптация NyTT+ | 9,3 | 3,42 | 2,60 |
| NyTT+ с непарным drifting | 9,1 | 3,59 | 2,82 |
Как это читать: лучшее звучание по автоматическим шкалам не равно лучшему входу распознавателя. Адаптация снимает значительную часть вреда переноса, но даже лучший обработанный вариант уступает исходной шумной записи по WER. Объяснение устойчивостью Whisper к естественному шуму и чувствительностью к артефактам правдоподобно, однако не изолировано отдельным причинным опытом.
Источник. Оригинальное название: Noisy Target Training Meets Drifting for Weakly-Supervised Speech Enhancement. arXiv:2610.32870; полный текст PDF.