Geometric Ceilings on Time-Frequency Masking for Single-Channel Separation

Статья разделяет две причины, по которым одноканальная система разделения может остановиться: ограничение самого класса частотно-временных масок и неспособность оценщика найти доступную маску. Авторы выводят покадровые геометрические потолки, поэтому можно количественно понять, даст ли пользу более выразительная маска или нужно улучшать выбор её параметров.

Метод. Для вещественных, комплексных и ограниченных семейств масок строится операторный класс и вычисляется наилучшая достижимая реконструкция при известной цели. Затем потолок сравнивается с обученным оценщиком на MUSDB18. Отдельно измеряются эффект расширения фиксированного класса и эффект адаптации оператора к каждому кадру.

Результаты. Переход от простейшего класса M1 к M2 добавляет лишь 0,0013 дБ, от M2 к M3 — 0,020 дБ, а комплексный M4 даёт 2,68 дБ. Покадровая адаптация того же оператора добавляет ещё 6,70 дБ и поднимает потолок до 16,62 дБ. Обученный оценщик остаётся на 9,63–12,01 дБ ниже соответствующего потолка; увеличение числа компонент с 8 до 32 закрывает всего 0,40 дБ разрыва.

Ограничения. Теория опирается на выбранную линейную постановку и гауссовы предположения, а опыты проведены на музыкальном, не речевом наборе. Потолок использует известную целевую дорожку и потому не является достижимым алгоритмом. Экстраполяция сложности оценщика за наблюдённый диапазон также ориентировочна.

Фишка из статьи. Расширение маски и её адаптация дают принципиально разный масштаб выигрыша.

Как это читать: просто дать сети комплексную маску полезно, но гораздо важнее разрешить оператору меняться вместе с локальной геометрией смеси. Большой остаточный разрыв указывает на задачу выбора маски, а не только на её форму.