HC-AINet: малозатратное улучшение речи с компенсацией гармоник и оценкой фазы

HC-AINet сохраняет компактное подполосное представление для расчёта усилений, но применяет поправку гармоник на исходной частотной сетке. Это устраняет часть потерь, возникающих при слишком гладкой маске внутри широкой полосы. Важен раздельный вклад амплитудной компенсации и восстановления фазы: первая даёт больший эффект, а второе добавляет небольшой, но последовательный выигрыш.

Метод. Треугольный ERB-фильтробанк сводит 257 спектральных отсчётов к 32 или 64 полосам. Компактная сеть с инвертированными остаточными блоками, временным Conformer и частотными свёртками предсказывает общее усиление, гармоническую поправку и веса смешивания. Карта предполагаемых гармоник извлекается из зашумлённого спектра. Малый фазовый модуль получает исправленную амплитуду, исходную фазу и минимально-фазовую подсказку, вычисленную из амплитуды. STFT использует окно 32 мс и шаг 12,5 мс при 16 кГц.

Результаты. На VoiceBank-DEMAND 64-полосный вариант получает PESQ 3,20, STOI 0,95 и COVL 3,74 при примерно 0,27 млн параметров. Переход от 32 к 64 полосам повышает PESQ лишь с 3,18 до 3,20, но увеличивает вычисления с 0,66 до 1,08 млрд MAC на секунду аудио, на 63,6%. Число параметров при этом округляется одинаково: размер весов не характеризует весь вычислительный бюджет.

Ограничения. Малое число MAC не доказывает работу в реальном времени на устройстве: задержка, память и энергопотребление не измерены. Причинность зависит также от нормализации и буферизации STFT/ISTFT; потоковая реализация оставлена проверке. Нет слушательского опыта и оценки разброса по повторным обучениям. Сравнения с опубликованными системами смешивают протоколы, а отдельный эффект минимально-фазовой подсказки не изолирован.

Фишка из статьи. Таблица VI использует отдельный пятиуровневый тест SNR, включая −2,5 дБ, а не стандартный протокол VoiceBank-DEMAND. Его средние нельзя напрямую подменять основным PESQ 3,20.

Как это читать: выигрыш связан прежде всего с избирательным исправлением амплитуды, а не только с добавлением фазовой сети. При сохранённой компенсации фазовая реконструкция даёт 0,02–0,05 PESQ на отдельных SNR. Это поддерживает полезность всего модуля реконструкции, но не доказывает особого взаимодействия фазы и гармоник: для такого вывода нужна дополнительная факторная абляция.

Источник. Оригинальное название: HC-AINet: An Auditory-Inspired Network with Harmonic Compensation for Low-Complexity Speech Enhancement. arXiv:2610.30818; полный текст PDF.