Речевые языковые модели Речевой перевод Корпуса
arXiv eess.AS

Walrus: технический отчёт об универсальной речевой модели и многоэтапной подготовке данных

ArXiv:2611.13689

Walrus объединяет распознавание, перевод, синтез и понимание звука на стандартной архитектуре, делая ставку на состав и последовательность обучения. Практически интересны два выпуска с разными ограничениями на данные и явное разграничение числа обучаемых задач и качества на каждой из них.

Метод. Модель сохраняет Gemma 4 E4B: около 4 млрд эффективных параметров и примерно 8 млрд вместе с таблицами представлений. Кодировщик USM дообучается, а генерация использует отдельный VQ-токенизатор и вокодер на Vocos. Единственный словарь на 8192 кода работает с частотой 25 токенов/с: это номинально 325 бит/с индексов. Но декодер дополнительно получает признаки исходного голоса, поэтому число не характеризует самодостаточный кодек передачи произвольного аудио. Три этапа постепенно добавляют перекрытия, смешение языков и сложные вопросы; большие веса распознавания препятствуют его вытеснению длинными акустическими последовательностями.

Результаты. Исследовательский выпуск Walrus-R получает WER 1,65/3,85% на LibriSpeech clean/other, 6,89% на MLS и 7,84% на VoxPopuli. Перевод CoVoST-2 в английский достигает BLEU 42,63. На MMAU-Pro точность 71,92%, однако на распознавании эмоций IEMOCAP только 49,55% против 63,80% у Audio-Flamingo-3. В LibriMix 2Mix cpWER составляет 19,32%; японские естественные разговоры остаются сложными с cpCER 56,29%.

Ограничения. Сравнение многоязычных средних не всегда использует одинаковые наборы языков. Многоголосое распознавание проверяется на 30-секундных отрезках, подходящих Walrus, а не длинным специализированным системам; LibriMix входит и в обучающий домен. Влияние новых данных, весов задач и дополнительного обучения не разделено абляциями. Потоковая задержка и RTF не установлены приведёнными результатами.

Фишка из статьи. Разница между Walrus-CR и Walrus-R в таблице 4 на с. 14 показывает цену полного третьего этапа, а не чистый эффект одной лицензии или одного компонента. Сильнее всего меняются целевые сложные задачи.

ПроверкаWalrus-CRWalrus-R
CS-FLEURS Read, CER %26,697,23
Развлекательная речь, WER %26,7117,45
MMAU-Pro, точность %50,1871,92
IEMOCAP, точность %41,4449,55

Как это читать: Более широкий рецепт улучшает все эти показатели, но не превращает модель в лидера по эмоциям. Для выбора коммерчески допустимого выпуска нельзя механически переносить цифры исследовательского; у них общий каркас, но разные этапы и разрешённые данные.

Источник. Оригинальное название: Walrus Technical Report. arXiv:2611.13689; полный текст PDF.

Оригинальная статья на arXiv