SoFilNet: самообучаемая модель речеобразования «источник–фильтр»

SoFilNet восстанавливает из необработанного сигнала физически читаемые параметры речеобразования — основной тон, звонкость, апериодичность, формантные полюса и антирезонансные нули — без разметки F0 и формант. Работа особенно интересна тем, что классическую модель «источник–фильтр» превращают в дифференцируемый автоэнкодер и проверяют не только качество реконструкции, но и смысл каждого элемента фильтра.

Метод. Каждые 10 мс сеть предсказывает F0, признак звонкости, апериодичность в пяти полосах, упорядоченные формантные полюса, дополнительные полюса и две пары нулей. Обучение идёт по восстановлению сигнала; устойчивость обеспечивают уточнённые автокорреляционные псевдометки F0, цель по доле периодической энергии и спектральный контраст для резкости формант. Модель обучена на 4620 фразах TIMIT от 462 дикторов.

Результаты. На VTR-FORMANTS средняя RMSE формант по всей речи равна 158 Гц, что лучше контролируемых моделей DF-RNN (163 Гц), DF-RCNN и FormantNet (по 173 Гц). На PTDB-TUG ошибка FFE по F0 составляет 5,06%, практически совпадая с RAPT (5,07%) и опережая CREPE (6,70%). Синтез только из оценённых параметров достигает PESQ 2,12 и STOI 0,903; сочетание оценённого спектра с исходной фазой повышает PESQ до 3,02.

Ограничения. Проверка проведена на взрослой читаемой речи без тяжёлых шумов и патологий. Стационарная модель кадра длиной 25 мс не описывает импульс голосовой щели, джиттер, шиммер и взаимодействие источника с трактом; набор полюсов, нулей и полос апериодичности фиксирован заранее.

Фишка из статьи. Абляция показывает, что антирезонансные нули — не косметическая добавка: без них сеть вынуждена искажать формантные полюса, чтобы объяснить спектральные провалы.

Как это читать: удаление нулей почти не затрагивает F0, но резко портит оценку формант; удаление псевдометок действует наоборот. Это редкая абляция, где компоненты сети соответствуют разным физическим частям речевого тракта, а не просто добавляют ёмкость.

Источники. страница arXiv; PDF статьи. Оригинальное название: A Self-Supervised Source-Filter Model for Speech Production.