Отслеживание мгновенной фазы и частоты без разметки через обратный синтез голоса
GOLF-inv извлекает F0, мгновенную фазу и моменты смыкания голосовых складок без разметки высоты тона, подгоняя физически ограниченный синтезатор непосредственно к волновой форме. Это редкий фазоосознанный результат: параметры голоса появляются как интерпретируемые переменные обратного синтеза, а не как отдельная цель нейросетевого оценщика.
Метод. Кодировщик управляет source-filter-синтезатором с безалиасным аддитивным источником, где фаза голосового цикла задана явно, а её производная даёт мгновенную частоту. Ошибка волновой формы применяется только к детерминированной гармонической ветви, спектральная функция — ко всему сигналу. Случайное окно анализа мешает фазовой поправке скрыть систематическую ошибку частоты.
Результаты. На LM-SSD GOLF-inv получает RPA 92,91% и общую точность 95,79%, опережая проверенные нейросетевые FCNF0++, DDSP+F0 и PESTO по общей точности. Для моментов смыкания IDR равен 96,93%, всего на 0,53 п.п. ниже REAPER, а разброс временной ошибки — 0,77 мс против 0,76 мс. Фазосогласованная реконструкция даёт SRER 8,10 дБ, тогда как GOLF с внешней F0 и DDSP остаются ниже нуля; зато внешний F0 сохраняет лучший MCD 3,92 дБ против 4,47.
Ограничения. Опыты выполнены только на певческом голосе, а речь оставлена на будущее. До 100 синусоид суммируются на каждый отсчёт, что дороже табличного генератора. Смещённая функция потерь заставляет детерминированную ветвь объяснять часть шумовой энергии и создаёт слышимое жужжание в неголосовых участках.
Фишка из статьи. Случайное положение окна — не косметическая аугментация, а условие идентифицируемости частоты. Без неё отдельная фазовая коррекция компенсирует неверную F0: если читать частоту только из основной переменной, RPA падает на 5,39 п.п.; со случайным окном разрыв составляет лишь 0,50 п.п.
| Вариант на LM-SSD | RPA | Общая точность |
|---|---|---|
| GOLF-inv, полная оценка | 92,91% | 95,79% |
| GOLF-inv, только основная частотная переменная | 92,41% | 95,54% |
| Фиксированное окно, полная оценка | 92,28% | 95,44% |
| Фиксированное окно, только частотная переменная | 86,89% | 92,75% |
| REAPER | 92,61% | 95,63% |
Как это читать: полная оценка может выглядеть хорошей даже при неверной внутренней частоте, если фазовая ветвь получает удобный путь компенсации. Случайное окно закрывает этот путь и делает извлечённую переменную физически содержательной.