От импульсов к непрерывному звуку: динамический декодировщик для импульсного синтеза речи

Как получить гладкое акустическое представление из дискретных импульсов нейронов? Авторы вставляют импульсный канал между готовым декодировщиком FastSpeech2 и вокодером и восстанавливают мел-спектрограмму обучаемыми фильтрами второго порядка. Работа интересна связью с моделью затухающего отклика и аккуратным разделением двух ресурсов: числа нейронов и временного разрешения.

Метод. Импульсный слой AdLIF преобразует непрерывные признаки в события. Следующий слой использует ту же двухсостоянийную динамику без порога и сброса: его непрерывный потенциал интегрирует импульсы и служит выходом. Два полюса задают затухающий либо колебательный отклик; параметры обучаются, колебательный режим заранее не запрещён. FastSpeech2 и вокодер заморожены, оптимизируется только вставленный тракт. На LJSpeech сравнивают 80–400 импульсных нейронов и временное увеличение сетки до восьми раз.

Результаты. Начальная конфигурация даёт MOSNet 3,300 против 3,973 у исходного FastSpeech2. Увеличение временного разрешения в восемь раз поднимает оценку до 3,801, увеличение числа нейронов до 400 даёт 4,163 при STOI около 0,95 относительно исходного синтезированного сигнала. В лучшей конфигурации 96,8% непрерывных элементов имеют апериодический, а не колебательный отклик; характерные постоянные времени около 11 и 264 мс связывают быстрый акустический и более медленный слоговой масштабы.

Ограничения. MOSNet является автоматическим предсказанием качества, не субъективной MOS. Значение выше учителя не доказывает улучшения речи: модель обучена воспроизводить именно его мел-спектрограмму, а сглаживание может нравиться оценщику. Корпус одноголосный английский, прослушивания и измерения энергии на нейроморфном устройстве нет. Вставленный канал не делает весь FastSpeech2 импульсным и не является оценённым аудиокодеком: битрейт, потоковая задержка и сквозная память не установлены.

Фишка из статьи. Рисунок 2 и раздел IV-D показывают, что обычный свёрточный выход лучше динамического при базовом размере, а преимущество последнего возникает после увеличения ресурсов. Сравнение с расширенной свёрточной моделью авторы оставляют на будущее.

Как это читать: главный вывод состоит в большей полезности ёмкости представления в проверенном диапазоне, а не в доказанном превосходстве биологического фильтра при равной вычислительной цене. Для такого вывода не хватает свёрточных контролей с теми же увеличенными размерами и сравнений скорости, памяти и человеческого восприятия.

Источник. Оригинальное название: Bridging Spiking and Continuous Dynamics in Spiking Neural Networks: A Muscle-Inspired Model. arXiv:2611.09295; полный текст PDF.