XingChen-UniFE: совместное акустическое и семантическое моделирование для восстановления и выделения речи
XingChen-UniFE объединяет восстановление ухудшенной речи и выделение целевого диктора в одной генеративной модели. Два входных потока отвечают за разные уровни информации: самообученные признаки поддерживают содержание, комплексный спектр сохраняет акустические детали. Авторы проверяют разделение этих ролей удалением каждой ветви, а не только сравнением итоговой средней оценки.
Метод. Замороженный WavLM-Base-Plus даёт иерархические признаки, обучаемая акустическая ветвь работает с комплексным спектром. Двунаправленное перекрёстное внимание объединяет потоки перед 28-слойным декодером. Акустические и семантические токены H-Codec чередуются с задержанным расположением кодовых слоёв; задача и голосовой образец задают условие генерации. Около 502 млн параметров обучаются с нуля, WavLM и кодек остаются фиксированными.
Результаты. В восстановлении средний WER по семи условиям составляет 13,4% против 17,0% у воспроизведённой UniTok. На сочетании всех ухудшений ошибка остаётся 55,4%, хотя это лучше 68,5%. На Libri2Mix для удаления шума PESQ равен 2,137, STOI — 90,56%; в выделении диктора PESQ повышается до 2,093, но STOI 81,74% ниже 83,71% у UniTok. Единого выигрыша по всем задачам и метрикам нет.
Ограничения. Основная проверка использует смоделированные ухудшения и короткие записи 3–15 с при 16 кГц. Большие библиотеки шума не доказывают перенос на любые реальные каналы. Не приведён подтверждённый малозадержочный режим для полного генератора. Средний WER скрывает тяжёлые смешанные случаи, а метрики сходства и PESQ сами по себе не исключают генеративного изменения содержания.
Фишка из статьи. Таблица 4 на задаче удаления шума показывает, что две ветви не взаимозаменяемы.
| Вариант | PESQ | WER, % | LPS |
|---|---|---|---|
| Полная модель | 2,14 | 7,74 | 0,930 |
| Без семантической ветви | 2,09 | 13,01 | 0,892 |
| Без акустической ветви | 1,84 | 9,03 | 0,917 |
Как это читать: удаление семантики почти сохраняет PESQ, но резко ухудшает содержание; удаление акустики сильнее отражается на качестве сигнала. Выбирать такую систему только по приятности очищенной речи опасно. Для применения нужно одновременно проверять акустическую точность и слова, особенно при сочетании шума, пропусков пакетов, ограниченной полосы и клиппирования.
Источник. Оригинальное название: XingChen-UniFE: A Unified Generative Speech Front-End via Complementary Acoustic-Semantic Modeling. arXiv:2610.29164; полный текст PDF.