Walrus: технический отчёт об универсальной речевой модели и многоэтапной подготовке данных
Walrus объединяет распознавание, перевод, синтез и понимание звука на стандартной архитектуре, делая ставку на состав и последовательность обучения. Практически интересны два выпуска с разными ограничениями на данные и явное разграничение числа обучаемых задач и качества на каждой из них.
Метод. Модель сохраняет Gemma 4 E4B: около 4 млрд эффективных параметров и примерно 8 млрд вместе с таблицами представлений. Кодировщик USM дообучается, а генерация использует отдельный VQ-токенизатор и вокодер на Vocos. Единственный словарь на 8192 кода работает с частотой 25 токенов/с: это номинально 325 бит/с индексов. Но декодер дополнительно получает признаки исходного голоса, поэтому число не характеризует самодостаточный кодек передачи произвольного аудио. Три этапа постепенно добавляют перекрытия, смешение языков и сложные вопросы; большие веса распознавания препятствуют его вытеснению длинными акустическими последовательностями.
Результаты. Исследовательский выпуск Walrus-R получает WER 1,65/3,85% на LibriSpeech clean/other, 6,89% на MLS и 7,84% на VoxPopuli. Перевод CoVoST-2 в английский достигает BLEU 42,63. На MMAU-Pro точность 71,92%, однако на распознавании эмоций IEMOCAP только 49,55% против 63,80% у Audio-Flamingo-3. В LibriMix 2Mix cpWER составляет 19,32%; японские естественные разговоры остаются сложными с cpCER 56,29%.
Ограничения. Сравнение многоязычных средних не всегда использует одинаковые наборы языков. Многоголосое распознавание проверяется на 30-секундных отрезках, подходящих Walrus, а не длинным специализированным системам; LibriMix входит и в обучающий домен. Влияние новых данных, весов задач и дополнительного обучения не разделено абляциями. Потоковая задержка и RTF не установлены приведёнными результатами.
Фишка из статьи. Разница между Walrus-CR и Walrus-R в таблице 4 на с. 14 показывает цену полного третьего этапа, а не чистый эффект одной лицензии или одного компонента. Сильнее всего меняются целевые сложные задачи.
| Проверка | Walrus-CR | Walrus-R |
|---|---|---|
| CS-FLEURS Read, CER % | 26,69 | 7,23 |
| Развлекательная речь, WER % | 26,71 | 17,45 |
| MMAU-Pro, точность % | 50,18 | 71,92 |
| IEMOCAP, точность % | 41,44 | 49,55 |
Как это читать: Более широкий рецепт улучшает все эти показатели, но не превращает модель в лидера по эмоциям. Для выбора коммерчески допустимого выпуска нельзя механически переносить цифры исследовательского; у них общий каркас, но разные этапы и разрешённые данные.
Источник. Оригинальное название: Walrus Technical Report. arXiv:2611.13689; полный текст PDF.