Добавление языков в многоязычное распознавание с сохранением прежних возможностей

Добавление нового языка может испортить распознавание уже поддерживаемых даже при замороженных речевом кодировщике и языковой модели. Работа изучает эту проблему в связующем модуле между ними. Лучший вариант для одного языка защищает важные для прежних языков направления и затем ограничивает обновление весов; при нескольких новых языках столь жёсткая защита уже мешает адаптации.

Метод. Три исходных связующих модуля учатся на германских, романских и славянских пятёрках языков Common Voice, по пять часов на язык. Для новых языков тоже используется по пять часов. SSU-Wanda оценивает важность столбцов матриц через произведение модуля веса и нормы входной активации, замораживая важнейшие столбцы при адаптации. Нужны пять минут исходной речи на язык для калибровки, но нет повторного обучения на ней. TIES оставляет крупные обновления, согласует знаки и усредняет совместимые компоненты. Для единственного обновления согласовывать знаки не с чем: TIES фактически сводится к отсечению и масштабированию.

Результаты. При добавлении одного языка SSU-Wanda+TIES сохраняет средний WER исходной германской группы 22,81% против 22,57% до адаптации, тогда как обычное дообучение повышает его до 69,73%. Средний WER новых языков при этом 35,82%, хуже 27,34% у обычного дообучения. Для славянской группы исходный WER 36,93→43,60%, целевой 110,15→51,69%. Это полезный компромисс, а не устранение забывания без потерь освоения языка.

Ограничения. Малоресурсный Common Voice, только адаптация связующего модуля; выводы не проверены при изменении кодировщика или всей языковой модели. Метод не полностью обходится без старых данных: они нужны для активационной калибровки. Усреднение по языкам скрывает тяжёлые отдельные случаи; киргизский остаётся с WER 81,10%. Порядок последовательного добавления влияет на результат, но автоматический выбор порядка не предложен. WER выше 100% возможен из-за вставок и означает крайне слабое распознавание, не ошибку шкалы.

Фишка из статьи. Таблица 5 демонстрирует, почему одноязычный вывод нельзя механически перенести на совместное объединение нескольких обновлений. Здесь итоговые средние по всем добавляемым языкам в заданном протоколе; меньше лучше.

Как это читать: жёсткая защита почти сохраняет старую часть ценой слабого добавления новых языков. Последовательная адаптация иногда лучше осваивает новые, но для романской группы смена порядка меняет общий WER с 57,81 до 31,82%. Поэтому при выборе стратегии нужны отдельно исходный WER, целевой WER и чувствительность к порядку, а не только среднее итоговое качество.

Источник. Оригинальное название: Preserve to Expand: Source-Aware Adaptation and Model Merging for Multilingual LLM-Based ASR. arXiv:2610.35846; полный текст PDF.