Spark-Audio 1.0: многоязычное распознавание и понимание аудио с обучением по признакам учителя
Spark-Audio 1.0 соединяет плотный аудиокодировщик на 650 млн параметров с языковой MoE-моделью 30B-A3B и выдаёт текст. Технически интересен способ подготовки кодировщика: случайное квантование применяется не к низкоуровневой акустике, а к контекстным признакам уже обученного распознавателя. Это переносит речевое знание учителя в цель маскированного предсказания без обучения самого квантователя.
Метод. Кодировщик на основе Whisper large-v3 получает цели от замороженного многоязычного учителя, ранее обученного примерно на 1,5 млн часов размеченной речи. Представление последнего слоя проходит через фиксированные случайные проекцию и словарь BEST-RQ. Далее идут многоязычное обучение распознаванию и задачи эмоций, дикторских атрибутов и звуковых событий. После присоединения к языковой модели используются поэтапная настройка, SFT и дистилляция на собственных продолжениях. Общий масштаб аудио достигает 13 млн часов; это не означает полного отсутствия внешнего размеченного знания.
Результаты. Система заявляет поддержку 99 языков и 202 диалектов. На FLEURS-en WER равен 2,25%, на LibriSpeech clean/other 1,08/2,44%. В основной группе 14 языков средняя ошибка FLEURS равна 2,81%, в расширенной группе 20 языков 6,30%. Однако на 64 дополнительных языках она достигает 31,89% против 20,09% у Gemini 3.1 Pro. На MMAR понимание аудио даёт 57,90% против 83,70%: сильное распознавание не гарантирует лучший общий анализ звука.
Ограничения. Большая часть прикладных тестов внутренняя, полная стоимость и воспроизводимость масштабного обучения ограничены. Из некоторых групп исключены языки с аномальными результатами сравниваемых систем, что нужно учитывать в среднем. Сопоставление кодировщиков использует одинаковую Qwen3-4B, но многоязычный AuT дополнительно адаптируется в две стадии и не является строго тем же режимом заморозки. Оценки конечной системы и отдельного кодировщика нельзя смешивать.
Фишка из статьи. Таблица 9 проверяет разные виды сведений при одинаковой языковой основе и обучении адаптера. Средний выигрыш аудиокодировщика скрывает заметные проигрыши отдельных атрибутов.
| Задача кодировщика | Spark-Audio: точность, % | Qwen3-Omni AuT: точность, % |
|---|---|---|
| Звуковые классы ESC-50 | 59,50 | 31,50 |
| Акустические сцены CochlScene | 70,66 | 64,54 |
| Эмоции CASIA | 25,00 | 32,50 |
| Пол диктора, внутренний тест | 78,50 | 95,80 |
Как это читать: улучшение общего представления не означает одновременного сохранения каждой паралингвистической детали. Средняя точность восьми задач растёт до 61,49% против 54,54%, но конкретному приложению важнее его строка. Обучение по признакам речевого учителя и многозадачная адаптация формируют компромисс; таблица показывает его эмпирически, не устанавливая причину каждого проигрыша.
Источник. Оригинальное название: Spark-Audio 1.0 Technical Report. arXiv:2610.31292; полный текст PDF.