Речевая токенизация Самообучение Низкий темп токенов
arXiv cs.LG

Facto: факторизованные речевые токены с отдельным представлением диктора

ArXiv:2611.18898

Facto отделяет меняющееся содержание и просодию от более постоянных свойств диктора и записи до квантования речевых признаков. Ключевое расширение линейной факторизации — общий оцениватель содержания, которому не нужна заранее известная матрица нового диктора. Интересен результат для генерации: токенизатор с не лучшим восстановлением исходной записи оказывается удобнее для языковой модели синтеза.

Метод. Признаки шестого слоя WavLM выравниваются ближайшими соседями между 251 диктором LibriSpeech train-clean-100. Совместное низкоранговое разложение Xk≈CSk через SVD выделяет общее 12-мерное пространство C и преобразования дикторов. Метод наименьших квадратов учится напрямую получать C из признаков незнакомого голоса. Соседние кадры объединяются в пары или четвёрки, PCA сохраняет 95% дисперсии, k-means формирует один словарь на 8192 или 16384 элемента с темпом 25 либо 12,5 токена/с. HiFi-GAN-подобный декодировщик получает токены и отдельный глобальный вектор голоса; FiLM возвращает свойства диктора. Вектор извлекается из остатка признаков после удаления среднего содержания. Кодировщик факторизации обучается менее часа на CPU, но это не время предобучения WavLM и декодировщика.

Общее содержание оценивается и для незнакомого диктора. 251 обучающий диктор: WavLM, слой 6; соседнее выравнивание + SVD, ранг 12. Общая линейная проекция: Новое: наименьшие квадраты X → C, не S конкретного голоса. Новая речь → WavLM: При применении голос может быть незнаком. Патчи + PCA + k-means: Новое: один словарь 8192/16384; 12,5 или 25 Гц. Отдельный вектор голоса: Из остатка после среднего содержания; не токены C. HiFi-GAN-подобный декодер: Токены + FiLM от голоса → восстановленная волна.
Схема по материалам статьи, рисунок 1, раздел 2 и таблицы 1–2. Пунктир: обучение общей проекции по факторизованным данным. При применении не требуется матрица конкретного тренировочного диктора. Декодировщик также получает отдельный вектор голоса из остатка SSL-признаков; PCA, патчи и FiLM объединены. Темп индексов не включает передачу этого вектора.

Результаты. На восстановлении LibriSpeech test-clean при 12,5 Гц и словаре 16384 Facto получает WER 5,0%, SIM 0,93 и предсказанный MOS 4,37; Kanade — 3,5%, 0,93 и 4,35. Зато при одинаковой малой языковой модели синтеза на Seed-TTS test-en Facto достигает WER 2,3% против 4,5% у Kanade, со сходством 0,94 против 0,92. На Expresso ошибки остаются высокими, но 9,8% лучше 18,9%. Устойчивость токенов к малым шумовым возмущениям по UED примерно вдвое выше сопоставляемых решений. Слуховой MUSHRA показывает особенно большой выигрыш сходства с образцом, а не безусловный рост естественности.

Ограничения. Опыты завязаны на один слой WavLM и главным образом английские корпуса. Глобальный вектор может сглаживать изменения голоса внутри реплики. Это представление для генерации и восстановления, не законченная потоковая спецификация сжатия: вектор диктора также нужно передавать, что особенно дорого для короткого файла. Только индексы словаря требуют 162,5–175 бит/с при 12,5 Гц или 325–350 при 25 Гц без энтропийного кодирования; это наш расчёт темп×log2(словарь), не полный битрейт. Задержка, память и RTF готового кодека не установлены.

Фишка из статьи. Таблицы 1 и 2 меняют порядок моделей при переходе от восстановления к синтезу. Внутри Facto удвоение словаря при 25 Гц слегка улучшает восстановление, но ухудшает WER синтеза. Значит, максимальная акустическая точность не является достаточным критерием выбора токенов для генеративной модели.

Модель / словарь / темпWER восстановления, %WER синтеза, %
Kanade / 12800 / 12,5 Гц3,54,5
Facto / 16384 / 12,5 Гц5,02,3
Facto / 8192 / 25 Гц3,12,0
Facto / 16384 / 25 Гц3,02,8

Как это читать: две колонки относятся к разным тестам: LibriSpeech test-clean и Seed-TTS test-en. Сравнивать нужно порядок моделей внутри каждой колонки. Устойчивость, распределение токенов и сложность их предсказания могут быть важнее небольшой прибавки точности реконструкции.

Источник. Оригинальное название: Factorized Self-Supervised Speech Tokenization. arXiv:2611.18898; полный текст PDF.

Оригинальная статья на arXiv