MPASCNet: адаптивное спектральное сжатие с учётом амплитуды и фазы для восстановления музыки
MPASCNet восстанавливает музыку после MP3, объединяя явное моделирование амплитуды и фазы с адаптивным сжатием спектральных признаков. Вместо заранее заданных полос сеть собирает частотные отсчёты в компактные токены через перекрёстное внимание. Интересен не только выигрыш качества: абляция показывает, что более низкая ошибка спектра не всегда означает лучшее восстановление звука.
Метод. Признаки амплитуды и фазы совместно задают внимание от полного STFT к 80 обучаемым спектральным запросам. Далее шесть частотно-временных блоков с RoFormer и двунаправленным GRU обрабатывают сжатую последовательность. Раздельные ветви восстанавливают амплитуду и двумерное представление фазы через atan2. Критерий обучения включает волновую, комплексную, спектральную ошибки и фазовые разности по времени и частоте с учётом перехода через 2π.
Результаты. На MedleyDB средние SDR, SI-SNR и ViSQOL составляют 17,65 дБ, 17,27 дБ и 3,67; у Apollo — 16,61 дБ, 15,77 дБ и 3,60. Используется 6,49 млн параметров. RTF равен 0,02306 против 0,03754 у Apollo, но AEROMamba остаётся быстрее, 0,00410. В оригинальной таблице RTF приведён в единицах 10⁻³, что важно не перепутать с обычным отношением времени.
Ограничения. Обучение и тест используют искусственно сжатые трёхсекундные музыкальные фрагменты с MP3 24–128 кбит/с. Из теста удалены пересекающиеся с обучением композиции, но это не проверка других кодеков и реальных цепочек многократного перекодирования. Временной блок двунаправленный: малый RTF не доказывает причинную потоковую обработку. Субъективное прослушивание не заменяется автоматическим ViSQOL.
Фишка из статьи. Таблица 3 противопоставляет адаптивное сжатие и фиксированные полосы при сохранении амплитудно-фазовой архитектуры.
| Представление | SDR, дБ | ViSQOL | Фазовая ошибка PD, меньше лучше |
|---|---|---|---|
| Адаптивные токены | 17,65 | 3,67 | 13,80 |
| Фиксированные полосы | 17,24 | 3,61 | 13,35 |
Как это читать: фиксированные полосы дают меньшую PD и LSD, но худшие SDR, SI-SNR и ViSQOL. Поэтому фазовую ошибку нельзя использовать как единственный критерий выбора архитектуры. Здесь адаптация частотного представления полезна для конечного восстановления, хотя не минимизирует каждую промежуточную спектральную метрику; её вклад проверен внутри одного рецепта обучения.
Источник. Оригинальное название: MPASCNet: Magnitude-Phase-Aware Adaptive Spectral Compression for Compressed Music Restoration. arXiv:2610.16416; полный текст PDF.