UltraM2M: слабоконтролируемое улучшение речи по транскрипциям и ограничениям смеси

Для реальных шумных записей обычно нет чистой целевой речи, зато транскрипцию получить сравнительно дёшево. UltraM2M использует замороженный распознаватель как семантический контроль, а физическое ограничение смеси и параллельное обучение на синтетике не дают сети улучшать WER ценой неестественного звука.

Метод. TF-GridNet получает один, два или шесть микрофонных каналов. Потеря распознавания считается через Whisper, wav2vec 2.0 или ESPnet, а mixture constraint сопоставляет улучшенную речь с многоканальной наблюдаемой смесью. Базовая SuperM2M сначала обучается без близкого микрофона, затем совместно дообучается на реальных CHiME-4 и синтетических смесях.

Результаты. На реальном тесте CHiME-4 одноканальный UltraM2M-Whisper снижает WER с 3,60% у SuperM2M до 3,12%. При двух каналах WER уменьшается с 2,85% до 2,21%, а DNSMOS OVRL растёт с 1,64 до 2,53. При шести каналах получены 1,90% и 2,40 против 2,26% и 1,63. Эффект сохраняется с тремя разными распознавателями.

Ограничения. Эксперименты ограничены CHiME-4 и английскими транскрипциями. Во время обучения нужен тяжёлый замороженный ASR, а выигрыш зависит от его ошибок и функции потерь. При обучении только на реальных смесях физическое ограничение немного ухудшает WER, поэтому метод не сводится к одной универсальной добавке.

Фишка из статьи. Абляция показывает, что ограничение смеси особенно важно там, где ASR-потеря может «срезать» акустические детали: без него улучшается транскрипция, но падает воспринимаемое качество и перенос на тест.

Как это читать: транскрипция сообщает, что должно остаться разборчивым, но не задаёт реалистичный спектр. Ограничение смеси возвращает физическую опору и одновременно улучшает DNSMOS и устойчивость к несовпадению обучающих и тестовых условий.