«Слепые зоны» слуха: к перцептивному распределению вычислений в нейросетевом синтезе речи
Работа исследует, какую часть спектральных коэффициентов синтезированной речи можно удалить с минимальным воспринимаемым ущербом, чтобы в будущем не вычислять их вовсе. Результат отрезвляющий: простое удаление низкоэнергетических коэффициентов оказывается лучше сложной психоакустической маскировки, но эксперимент проводится после синтеза и пока не доказывает экономию вычислений.
Метод. На 45 текстах авторы синтезируют речь Piper и Kokoro, затем оракульно удаляют коэффициенты по трём правилам: сначала минимальная энергия, психоакустическая матрица распространения маскировки и случайный выбор. Отдельно профилируются ONNX-декодеры на Apple M5 Pro и Intel Xeon, а также динамическое INT8-квантование. Объективные метрики считаются после пересчёта в 16 кГц.
Результаты. При удалении 50% коэффициентов схема по энергии даёт для Piper оценку 4,46 против 3,60 у маскировки и 1,19 у случайного выбора; для Kokoro — 3,42, 2,10 и 1,22. Декодер занимает 63,3–69,5% времени Piper и 93,9–95,6% Kokoro. Однако динамический INT8 замедляет декодер Kokoro: на Intel с 4,78 до 38,56 с, на Apple с 3,87 до 18,62 с. В небольшом ABX-тесте один слушатель дал 17 правильных ответов из 30, без устойчивого порога прозрачности.
Ограничения. Удаляются уже вычисленные коэффициенты, поэтому ни одной операции декодера эксперимент реально не экономит. Две модели, 45 фраз и один слушатель не позволяют делать широкие перцептивные выводы; метрики при 16 кГц игнорируют спектр выше 8 кГц, а квантование не оптимизировано под оборудование.
Фишка из статьи. Два отрицательных результата задают правильную планку для будущей системы: психоакустика не обгоняет простой энергетический оракул, а стандартное INT8-квантование может сделать синтез в несколько раз медленнее.
| Проверка | Piper | Kokoro |
|---|---|---|
| 50% удалено по энергии | 4,46 | 3,42 |
| 50% удалено по маскировке | 3,60 | 2,10 |
| 50% удалено случайно | 1,19 | 1,22 |
| Доля времени декодера, Apple / Intel | 69,5% / 63,3% | 95,6% / 93,9% |
| Ускорение INT8, Apple / Intel | не указано | 0,21× / 0,12× |
Как это читать: высокий запас по удалению энергии ещё не равен ускорению, потому что выбор сделан оракульно после полного декодирования. А значения меньше 1× для INT8 означают замедление, а не выигрыш; без условного декодера и аппаратно подходящих ядер идея остаётся гипотезой.
Источники. страница arXiv; PDF статьи. Оригинальное название: Hearing's Blind Spots: Toward Perceptual Compute Allocation in Neural Speech Synthesis.