BDR-BWE: расширение полосы речи за один шаг с помощью моста, дистилляции и уточнения

При восстановлении высоких частот узкополосной речи генеративной модели не обязательно многократно пересчитывать уже известную часть спектра. BDR-BWE направляет преобразование преимущественно в отсутствующую полосу, а затем сокращает число вычислений до одного прохода. Работа интересна разделением трёх источников качества: исходной генерации, дистилляции и последующего состязательного уточнения.

Метод. Модель работает со сжатым комплексным STFT и получает частоту среза как условие. Обусловленный этой частотой мост связывает узкополосный вход с полнополосной целью; затем согласованная дистилляция последовательно уменьшает число вычислений поля с 16 до 8, 4, 2 и 1. На последнем этапе используются многопериодный и многомасштабный CQT-дискриминаторы, спектральные и признаковые потери. Общая сеть на 1,80 млн параметров обучается для разных входных полос и выдаёт речь 48 кГц; STFT использует окно 1024 отсчёта и шаг 512.

Результаты. На VCTK при расширении 8→48 кГц один проход даёт LSD 0,755, ViSQOL 3,284 и FAD 0,135. При 24→48 кГц LSD равна 0,524. Для более трудного 4→48 кГц получены LSD 0,831 и ViSQOL 3,224 при 16,8 млрд MAC на секунду аудио; у FlowHigh с 49,4 млн параметров соответствующие значения 0,901 и 3,230 при 25,5 млрд MAC. То есть спектральное расстояние улучшается, но не каждая оценка воспринимаемого качества. На независимом EARS при 4 кГц LSD составляет 1,060 против 1,368 у FlowHigh без дополнительной настройки.

Ограничения. Узкополосные данные получены искусственной фильтрацией; основное обучение ограничено VCTK, а перенос проверяется на восьми новых дикторах EARS. Нет субъективного прослушивания и измеренной задержки на процессоре. Один генеративный шаг не означает причинность: сеть содержит двунаправленные блоки и временное внимание. Синтезируемые высокие частоты правдоподобны, но их точное физическое восстановление из удалённой полосы не гарантируется.

Фишка из статьи. Таблица 4 показывает, что превращение многопроходной модели в однопроходную само по себе почти сохраняет исходный уровень, а основное окончательное улучшение приходит после состязательного уточнения. Все строки ниже относятся к 8→48 кГц.

Как это читать: дистилляция убирает почти всю цену итераций без заметного падения ViSQOL, но не объясняет весь выигрыш итоговой системы. Дополнительный второй проход после уточнения даёт лишь LSD 0,748 и ViSQOL 3,309. Это конкретный компромисс качества и вычислений, а не доказательство работы в реальном времени на любом устройстве.

Источник. Оригинальное название: Bridge, Distill, Refine: High-Fidelity One-Step Generation for Multi-Bandwidth Speech Extension. arXiv:2610.22910; полный текст PDF.