TF-MossFormer: частотно-временное разделение речи
TF-MossFormer - свежая работа по одноканальному разделению речи, где авторы возвращают внимание к 2D-структуре спектрограммы. Вместо чисто time-domain обработки или полного внимания по всей последовательности модель сочетает локальное и глобальное внимание в частотно-временной области. Главный ход - content-aware sliding window: окно локального внимания адаптируется к содержанию, а глобальный блок отвечает за дальние зависимости и идентичность диктора.
Метод. Блоки TF-MossFormer идут по частотному и временному направлениям, используют локальное внимание с окнами по времени и частоте, затем глобальную агрегацию и сверточные gate-блоки. По сравнению с фиксированной сверткой локальное окно выбирает контекст по содержанию, а по сравнению с full-length attention меньше размывает мелкие спектральные структуры. Эксперименты сделаны в ESPnet на WSJ0-2Mix с SI-SDR loss.
Результаты. Малый вариант с 6.0M параметров дает SI-SDRi 22.6 dB и SDRi 22.8 dB при 99.5 GMAC/s. Средний вариант с 16.9M параметров достигает SI-SDRi 24.0 dB, большой с 25.4M - SI-SDRi 24.4 dB и SDRi 24.5 dB. Для сравнения, TF-Locoformer(L) получает SI-SDRi 24.2 dB при 22.6M параметров, а SPMamba на малом масштабе - 22.5 dB при 238.6 GMAC/s.
Ограничения. WSJ0-2Mix - контролируемый двухдикторный набор с полной перекрытостью и 8 кГц, поэтому перенос на реальные встречи, шум, реверберацию и большее число источников остается открытым. В статье нет пользовательской оценки качества и нет задержки потокового вывода. Также выигрыш в SI-SDRi у части сравнений небольшой, поэтому важны не только средние числа, но и вычислительная цена.
Фишка из статьи. Абляция показывает, что у частотно-временного внимания есть оптимальный размер локальности: слишком узкое, слишком широкое и full-length окно дают хуже, чем умеренное окно 31x7.
| Вариант TF-MossFormer(S) | Окно T-F | SI-SDRi | SDRi | GMAC/s |
|---|---|---|---|---|
| основной | 31, 7 | 22.61 | 22.77 | 99.5 |
| уже по времени | 15, 7 | 22.51 | 22.68 | 99.4 |
| шире по времени | 65, 7 | 22.56 | 22.73 | 99.7 |
| уже по частоте | 31, 3 | 22.53 | 22.69 | 99.5 |
| full length | полное | 22.38 | 22.58 | 100.3 |
Как это читать: полное внимание не выигрывает автоматически. Для разделения речи важна локальная непрерывность гармоник и формант, поэтому умеренное частотно-временное окно дает лучший баланс качества и стоимости.