Uni-Stream: единая потоковая языковая модель для синтеза и распознавания речи

Uni-Stream объединяет распознавание и синтез в одной потоковой модели с общим непрерывным представлением звука. Интересен не сам факт объединения задач, а согласование темпа: текстовые и акустические фрагменты должны соответствовать одним словам, иначе синтез продолжает говорить после окончания задания. Авторы также показывают, что польза дополнительного учителя распознавания зависит от стадии обучения.

Метод. Модель семейства VibeVoice использует акустические и семантические признаки с частотой 7,5 кадра в секунду. Текст выдаётся языковой головой, звук диффузионной. Сначала отдельно адаптируют потоковые режимы распознавания и синтеза, затем объединённое обучение начинают с модели синтеза. Вместо постоянного отношения числа текстовых и звуковых токенов применяют фрагменты по временным границам слов с ограниченным просмотром вперёд. Дистилляция от учителя синтеза удерживает качество голоса; дополнительный учитель распознавания исследуется отдельно.

Результаты. Итоговый вариант с учителем синтеза даёт WER 3,63% на LibriSpeech test-clean и 10,74% на test-other при средней задержке выдачи слова 0,66 с и RTF 0,16. Для синтеза получены WER 3,20%, сходство диктора 0,714, UTMOS 3,994, задержка первого звукового фрагмента 129 мс и RTF 0,64. В первом этапе замена постоянного отношения токенов временным согласованием снижает WER синтеза с 7,67 до 3,54% почти без изменения первого отклика: 122 против 130 мс.

Ограничения. Оценка ограничена английской речью и конкретными наборами, а не свободным двусторонним разговором. Задержка распознавания усредняется по правильно распознанным словам, поэтому не описывает ошибочные и пропущенные слова. Время первого звукового фрагмента нельзя приравнивать к полной сетевой задержке диалога. Наблюдаемое сходство внутренних представлений не доказывает, что обе задачи используют единое универсальное семантическое пространство.

Фишка из статьи. В таблице 3 дополнительный учитель распознавания полезен на 40 тысячах шагов, но не даёт однозначного преимущества после 300 тысяч. Во всех строках сохранён учитель синтеза; это сравнение стадии обучения, а не разных размеров модели.

Как это читать: дистилляция может ускорять раннее освоение задачи, но это ещё не гарантия лучшей конечной точки. У второго учителя остаётся небольшое преимущество на сложном распознавании, зато хуже синтез. Отдельная диагностика завершения речи обнаруживает 42 из 1088 случаев с лишним продолжением при постоянном отношении токенов и лишь 4 при временном согласовании: это более содержательный инженерный результат, чем одно среднее WER.

Источник. Оригинальное название: Uni-Stream: A Unified Streaming Speech Language Model for Speech Synthesis and Recognition. arXiv:2610.32187; полный текст PDF.