VOSSA: оптимизация голосового отпечатка для потоковых речевых систем

VOSSA убирает из потокового преобразования голоса отдельный кодировщик распознавания говорящего. Вместо фиксированного внешнего голосового отпечатка система учится извлекать представление целевого голоса внимательным агрегированием промежуточных признаков собственного кодировщика содержания, поэтому идентичность оптимизируется вместе с качеством преобразования.

Метод. Модуль агрегирования формирует вектор говорящего из доступных речевых кадров и передаёт его потоковому декодеру. Совместный критерий удерживает фонетическое содержание, тембр и просодию; отдельная большая модель идентификации говорящего на пути вывода не нужна. Сравнение проводится с TVTSyn при блоках по 60 мс.

Результаты. VOSSA получает сходство с целевым говорящим 0,86 против 0,59 у TVTSyn при одинаковом WER 0,17. Субъективный MOS составляет 3,79 против 3,65; в парном выборе VOSSA предпочитают по сходству голоса в 54%, разборчивости в 56% и выразительности в 52% случаев. Число параметров уменьшается на 19%, со 162,8 до 132,4 млн.

Ограничения. Преимущество в парных оценках невелико, а NISQA-MOS 3,48 немного ниже 3,52 у TVTSyn. Задержка измерена на RTX 5000 Ada, поэтому данные не описывают процессорное или мобильное применение. Проверены одна основная архитектура и один режим блоков.

Фишка из статьи. Более точная идентичность не потребовала ни большего времени, ни отдельной сети. При одинаковой измеренной задержке VOSSA лучше передаёт основную частоту и форманты, то есть улучшает признаки, непосредственно связанные с голосом, а не только косинусную метрику.

Как это читать: главный инженерный результат — почти неизменная вычислительная граница при существенно лучшей идентичности; однако 73 мс относятся к мощному графическому процессору и не равны гарантии такой же задержки на конечном устройстве.