Создание речевой языковой модели для баскского языка
Работа показывает путь от уже обученной баскской текстовой модели к голосовому диалогу без нового крупного мультимодального предобучения. Модульная LLaMA-Omni соединяет Latxa с баскскими речевыми компонентами, а недостающие инструкции переводятся и озвучиваются. Основной нерешённый вопрос: перенесётся ли качество с такого синтетического теста на настоящую речь пользователей.
Метод. Whisper-large-v3-eu и связующий модуль подают аудио в Latxa-3.1-8B-Instruct. Параллельный CTC-декодер предсказывает дискретные единицы, Unit HiFi-GAN восстанавливает звук порциями. mHuBERT-147 адаптирован на 600 ч составного баскского корпуса; девятый слой кластеризуется в 1000 центров, одинаковых для декодера и вокодера. VoiceAssistant-400K переводит Latxa-70B; VITS создаёт вопросы 14 голосами и ответы целевым голосом. Получено около 450 тыс. пар, 550 ч вопросов и свыше 3300 ч ответов. Сначала обучаются языковая часть и связующий модуль, затем только речевой декодер.
Результаты. На 4419 отложенных синтетических инструкциях оценка содержания 3,86/5, UTMOS 3,07, WER/CER произнесённого ответа 9,94/1,62%. Потоковая задержка 370 мс измерена на A100 80 ГБ при порции 40 единиц. Отдельно адаптированный HuBERT имеет WER 4,90% в задаче распознавания, а вокодер MCD 4,8 и 5,1 дБ для двух голосов. Это разные проверки компонентов, не дополнительные показатели качества диалогового ответа.
Ограничения. Все итоговые вопросы синтетические и получены тем же конвейером, что обучающие; реального входа при оценке нет. Latxa-70B одновременно переводчик и судья родственному Latxa-8B, возможна систематическая благосклонность. Второго судьи и оценки людьми нет. UTMOS обучен главным образом на английском и японском, поэтому баскское значение ориентировочное. Английские модели в таблице оценены другими судьями и распознавателями: прямое ранжирование по языкам некорректно. Задержка серверной A100 не означает мобильную готовность.
Фишка из статьи. Числа о количестве данных легко понять неверно: мало готовых баскских инструкций не означает мало используемых акустических ресурсов. Разделы 3–4 показывают, какие компоненты требуют собственной подготовки.
| Компонент | Данные | Приведённая цена обучения |
|---|---|---|
| Дискретные единицы HuBERT | 600 ч с расшифровками | Около 400 ч на H100 |
| Двухголосый вокодер | Примерно по 16 ч на голос | Около 10 ч на H100 |
| Голосовой диалог | 450 тыс. синтетических пар | Два этапа, суммарно менее 100 ч на четырёх A100 |
Как это читать: рецепт экономит создание мультимодальной основы с нуля, но остаётся ресурсоёмким. Особенно важно заранее согласовать дискретный словарь кодировщика и вокодера: самостоятельная замена одного из них нарушает соответствие единиц. Воспроизводимый перенос на другой малоресурсный язык требует учитывать весь этот стек, а не только дообучение адаптера.
Источник. Оригинальное название: Developing a Speech Language Model for Basque. arXiv:2610.36911; полный текст PDF.