Система TID для Speech-COSER 2026: адаптация распознавания пожилой и диалектной речи
Система TID адаптирует несколько распознавателей к пожилой сельской испанской речи и объединяет их ответы голосованием. Работа показывает, что подготовка выравнивания, регуляризация LoRA и границы входных окон могут быть важнее выбора самой сильной модели на обычном тесте. Особенно полезен пример ошибки, которую не видно на заранее нарезанной внутренней выборке.
Метод. Сначала LoRA обучается на примерно 30 часах, затем на 23 часах с более надёжным соответствием звука и текста. После обучения малые по модулю элементы матриц адаптера обнуляются без повторной настройки; доля сохраняемых весов выбирается отдельно для архитектур. Silero VAD и упаковка непрерывной речи создают окна до 25 с. ROVER объединяет семь голосов, включая две версии Voxtral, Qwen3-ASR, omniASR, SeamlessM4T, Canary и Qwen3-Omni; регистр и пунктуация голосуются отдельно от слов.
Результаты. Официальная ненормализованная WER уменьшается с 45,47% у начального LoRA-решения до 38,22% у лучшей одиночной системы и 36,25% у ансамбля. После нормализации регистров и пунктуации итог равен 22,17%. Это не две оценки одной и той же единицы ошибки. Для Voxtral разреживание адаптера улучшает внутреннюю WER примерно на 1,75–2,43 пункта, но у недообученного omniASR ухудшает её на 7–13 пунктов.
Ограничения. Внутренняя часть, называемая test, фактически используется для подбора гиперпараметров и состава ансамбля; независимее от этого подбора официальная оценка организаторов. Данные малы, а общий рецепт первоначально подобран для Voxtral и не оптимален для всех семейств. Семь распознавателей увеличивают стоимость выполнения, измеренной гарантии низкой задержки нет. Правила удаления повторов могут ошибочно затронуть реальные повторы речи.
Фишка из статьи. Расширение окон с 10 до 25 секунд снижает официальную WER на 3,15 процентного пункта. Авторы связывают эффект с уменьшением разрезов внутри слова; внутренний заранее сегментированный набор этот дефект почти не показывает.
| Длина окна | Границы с разрезом внутри слова |
|---|---|
| 10 с | 18,6% |
| 25 с | 2,9% |
Как это читать: граница подачи звука — часть распознавателя, а не нейтральная техническая обвязка. На этом опыте её вклад больше добавочного выигрыша всего ансамбля над лучшей одиночной моделью, равного 1,97 пункта. Поэтому выборочную оценку на готовых фрагментах нужно дополнять тестом полных сессий с реальным VAD и тем же сборщиком окон.
Источник. Оригинальное название: TID System for Speech-COSER Challenge 2026: ASR Track. arXiv:2611.11497; полный текст PDF.