Остаточная маршрутизация эксперта для адаптации трансдьюсера только по тексту

Донастройка внутренней языковой модели по тексту нового домена улучшает термины, но может портить привычный домен. Авторы сохраняют исходный и адаптированный предикторы и обучают маленький переключатель по их разности. Он меняет только распределение непустых символов; акустическая и blank-ветви остаются прежними, поэтому вмешательство не равнозначно переписыванию всех решений распознавателя.

Метод. У факторизованного Zipformer-трансдьюсера базовый языковой предиктор копируется и обучается на 29 870 розничных и телекоммуникационных текстах. Затем сеть из 16 033 параметров выдаёт коэффициент смешивания распределений по 499-мерному остатку эксперта относительно базы. Маршрутизатор не видит звук, название домена и абсолютную уверенность. Но при его обучении используются прежние парные аудиотексты через transducer loss; новые доменные данные и выбор контрольной точки требуют только текста. Поэтому «только текст» относится к целевому домену, не ко всему обучению.

Результаты. Эксперт уменьшает WER с 19,89 до 16,88% на Retail и с 20,91 до 16,10% на Telco, но ухудшает исходный DefinedAI с 12,90 до 13,98%. Маршрутизация даёт 16,86, 16,57 и 12,91% соответственно. Часть телекоммуникационного выигрыша потеряна ради сохранения прежних условий. Удаление KL-якоря улучшает новые домены до 16,74 и 16,21% при старом WER 12,93%: весь набор регуляризаторов не обязателен для наблюдаемого компромисса.

Ограничения. Два новых домена одного поставщика и один каркас не доказывают универсальный перенос. Статическое смешивание выбирается по целевому аудио, а маршрутизатор по тексту, что важно для сравнения требований к данным. Нет широкой многосидовой проверки и измерения дополнительного времени двух предикторов. Результат без KL не означает ненужности защиты вообще: исходный акустический надзор и штраф вмешательства сохраняются.

Фишка из статьи. Таблица 2 различает изменение языкового решения и итогового символа после акустического объединения. Доли Flip в последних столбцах относятся к посещённым состояниям декодирования, не к словам эталона.

Как это читать: маршрутизатор нередко допускает экспертную поправку, но окончательное акустическое решение принимает её существенно реже. Величина вмешательства равна произведению доверия и расхождения распределений, поэтому одно среднее значение весов эксперта плохо описывает поведение системы. Это полезный пример того, как анализ маршрутизации должен доходить до реально выданных символов.

Источник. Оригинальное название: Residual Expert Routing for Text-Only Domain Adaptation of Factorized Transducer ASR. arXiv:2610.32637; полный текст PDF.