Multilingual TASU: согласование текста и речи через имитацию многоязычных CTC-распределений

TASU переносит обучение интерфейса речевой языковой модели из звукового пространства в пространство вероятностей CTC. Его можно частично обучать по текстам, имитируя выход акустического распознавателя. Работа проверяет этот приём сразу для восьми языков и показывает как экономию парной разметки, так и резкий провал при отсутствии языка в обучении имитатора.

Метод. Замороженный OWSM-CTC выдаёт распределения по 50 002 классам. После удаления пустых кадров и объединения повторов одно аффинное преобразование переводит их в пространство Qwen2.5-1.5B-Instruct; LoRA позволяет подстроить и языковую модель. Сравниваются реальные вероятности, простая эвристическая имитация CPS и обученный Transformer-имитатор. Для эффективности хранят десять наибольших вероятностей на кадр без повторной нормировки. Это точное разреженное применение выбранной аффинной проекции, а не дополнительная обученная компрессия звука.

Результаты. На MLS совокупная WER OWSM равна 10,08%. С реальными распределениями и LoRA она снижается до 8,21%; с обученным имитатором — до 10,51%. Текстовая инициализация CPS с последующей одной эпохой на примерно 1/9 полного набора MLS даёт 9,19% против 11,04% при том же звуковом бюджете без инициализации. Под «полным» здесь понимается исходный MLS: основной сбалансированный набор работы уже сокращён до 1,10 млн из 3,87 млн фрагментов. Overall — WER по объединённым словам, не среднее восьми языков.

Ограничения. «Только текст» относится к стадии согласования: акустический кодировщик уже обучен на речи, а обучаемому имитатору тоже нужны реальные целевые CTC-распределения. При распознавании звук неизбежно проходит через OWSM. Проверены европейские языки книжной речи, один случайный seed, без оценки вычислительной задержки и уверенности при смене домена. Отсутствие аудиозапуска в каждой обучающей итерации не делает всю систему беззвуковой.

Фишка из статьи. Таблица 5 исключает польский только из подготовки имитатора. Польские тексты по-прежнему присутствуют в дальнейшем обучении TASU, но это почти не спасает распознавание.

Как это читать: языковая модель не исправляет произвольно плохую имитацию акустического интерфейса. Небольшой рост общей WER маскирует катастрофический провал отдельного языка из-за объединения слов с неравными весами. Это сильный аргумент проверять покрытие имитатора по каждому языку, а не судить об универсальности по одному суммарному числу.

Источник. Оригинальное название: Multilingual TASU: Extending Text-Only Alignment to Multilingual Speech Recognition via Simulated CTC Posteriors. arXiv:2611.00692; полный текст PDF.