Большие аудиоязыковые модели с речевым фронтендом для SmartGlasses Challenge 2026
Система для умных очков распознаёт двух собеседников с временными метками в дальней, шумной и перекрывающейся речи. Особенно полезен отрицательный инженерный вывод: GSS и нейронное разделение улучшают проверочный tcpCER, но искажения и нулевые участки после фронтенда провоцируют галлюцинации 30-миллиардной SoulX-Transcriber, поэтому финальная отправка использует более стабильный тракт без разделения.
Метод. SoulX-Transcriber принимает полную многоканальную запись и авторегрессионно выдаёт структурированную расшифровку с дикторами и временем. Сравниваются направленное разделение GSS по VAD и многоканальный DPRNN на 4,7 млн параметров; для каждого выделенного канала модель дополнительно адаптируется LoRA rank 8. Разделитель обучается на реальных RIR очков Aria и моделированных импульсных характеристиках.
Результаты. На проверке базовый VibeVoice-ASR получает tcpCER 14,09 и DER 17,24. Предобученная SoulX — 9,02/3,70, дообученная — 7,82/2,56. GSS с оценённым VAD снижает tcpCER до 6,97, DPRNN с истинным VAD — до 7,04 и DER до 0,15. Финальная стабильная SoulX без фронтенда показывает tcpCER 6,22 на скрытом тесте.
Ограничения. Официальных данных около 33 часов; вычисления идут на четырёх RTX 4090, а основная модель имеет 30B-параметрический MoE-блок. Несколько проблемных записей пришлось делить на фрагменты по 30 секунд, поэтому результаты не полностью отражают единый длинный контекст. Разница истинного и оценённого VAD показывает чувствительность к протоколу разметки.
Фишка из статьи. Лучший проверочный показатель не стал финальной системой из-за редких, но тяжёлых отказов.
| Тракт на проверке | tcpCER | DER | Практическое наблюдение |
|---|---|---|---|
| SoulX, дообученная | 7,82 | 2,56 | стабильна на полной записи |
| GSS + SoulX, оценённый VAD | 6,97 | 2,62 | лучше CER, больше риск галлюцинаций |
| DPRNN + SoulX, истинный VAD | 7,04 | 0,15 | почти идеальная диаризация на проверке |
| Финальная SoulX без фронтенда | 6,22 на тесте | не сообщён | выбрана за устойчивость |
Как это читать: фронтенд полезен при большом перекрытии, но меняет распределение входа LLM. Средняя ошибка снижается, а повтор токенов и дрейф временных меток становятся чаще — для эксплуатации это может быть важнее нескольких десятых tcpCER.
Источник: arXiv:2610.13282. Оригинальное название: Frontend-Assisted Large Audio-Language Models for SLT2026 SmartGlasses Challenge.