PhonoVoxtLM: единый фонологический словарь для понимания и генерации речи
PhonoVoxtLM проверяет, можно ли одной фонологически осмысленной кодовой книгой обслуживать и понимание, и генерацию речи. Вместо разных дискретизаторов для входа и выхода авторы используют 2000 общих речевых единиц в модели на основе VoxtLM/OPT-350M; интерес здесь не только в компактности интерфейса, но и в явном компромиссе между точностью распознавания и сохранением просодии при синтезе.
Метод. Фонологический токенизатор совместно обучают на распознавании и восстановлении сигнала, после чего одни и те же токены подаются в языковую модель и предсказываются ею. Четыре режима — речевая языковая модель, распознавание, синтез и текстовая языковая модель — задаются единым форматом последовательности. Для вопросно-ответного дообучения по речи авторы добавляют повтор примеров исходных задач, чтобы ослабить забывание.
Результаты. На LibriSpeech фонологические единицы дают WER 4,2%/8,6% на test-clean/test-other против 7,1%/17,8% у HuBERT-1K. WavLM всё же точнее — 3,7%/6,5%, зато при синтезе фонологическая схема достигает UTMOS 3,98 и корреляции F0 0,282 против 3,62 и 0,144 у WavLM-1K. После адаптации к LibriSQA точность второй части теста растёт с 35,73% до 46,76%, но WER ухудшается до 5,4%/9,6%: повтор данных не устраняет забывание полностью.
Ограничения. Эксперименты почти целиком опираются на английскую читаемую речь и автоматические показатели качества. Сравниваемые конвейеры различаются не только токенами, а преимущество для просодии пока не подтверждено полноценным субъективным тестом и не проверено на тональных языках или спонтанной речи.
Фишка из статьи. Самая полезная часть работы — не средняя победа одной кодовой книги, а явный обмен точности распознавания на качество восстановления голоса.
| Единицы | WER clean/other, % | UTMOS | Корреляция F0 |
|---|---|---|---|
| HuBERT-1K | 7,1 / 17,8 | 3,61 | 0,181 |
| WavLM-1K | 3,7 / 6,5 | 3,62 | 0,144 |
| Фонологические, 2K | 4,2 / 8,6 | 3,98 | 0,282 |
Как это читать: WavLM лучше превращает речь в текст, но фонологические единицы заметно лучше удерживают воспринимаемое качество и контур основного тона. Единый словарь здесь полезен не как безусловно лучший токенизатор, а как более сбалансированный интерфейс между пониманием и генерацией.
Источники. страница arXiv; PDF статьи. Оригинальное название: PhonoVoxtLM: A Unified Phonological Vocabulary for Speech Understanding and Generation.