Распознавание речи Выравнивание Внимание
arXiv eess.AS

Обучение Aligner-Encoder с постепенно исчезающей маской выравнивания

ArXiv:2611.15087

Aligner-Encoder учится сопоставлять акустические кадры с выходными токенами, но особенно на длинных фразах такое соответствие формируется ненадёжно. Авторы временно подсказывают путь выравнивания маской внимания, полученной от RNN-T. Подсказка исчезает ещё во время обучения, поэтому при распознавании не нужны ни эталонный текст, ни внешний выравниватель.

Метод. RNN-T строит принудительное выравнивание аудио и обучающей транскрипции. Вокруг этого пути разрешают полосу связей у выбранных голов внимания одного слоя Aligner-Encoder. Маску ослабляют с 2 000-го по 10 000-й шаг; затем сеть продолжает обучение без неё. Отдельный контроль использует только общую длину последовательности, без локального пути. В диагностическом режиме oracle маска остаётся и на тесте, но использует сведения из эталона: это недоступная обычной системе подсказка, а не результат готового распознавателя.

Локальный путь помогает обучению, но исчезает до применения. Аудио + транскрипция: Только обучающие данные. RNN-T-выравниватель: Принудительный путь кадров и токенов. Полоса вокруг пути: Новое: ослабление с шага 2 000 до 10 000. Aligner-Encoder: Маска выбранных голов одного слоя. Обычное применение: Без маски и без эталонного текста. Отдельный oracle-контроль: Маска остаётся на тесте; недоступная подсказка.
Схема по материалам статьи, раздел II, рисунки 1–2 и таблица I. Показаны только выбранные головы одного слоя и расписание маски; детали CE-цели опущены. Oracle является диагностикой с эталонными сведениями, не обычным распознаванием.

Результаты. На LibriSpeech test-clean/test-other WER меняется с 3,9/6,4% до 3,5/5,9% после исчезающей путевой маски. Для фраз длиннее 17 секунд на test-clean ошибка снижается с 11,7% до 9,3%, на test-other с 12,8% до 10,8%. Средний WER пяти языков Common Voice уменьшается с 12,4% до 12,0%. Сам RNN-T-учитель на LibriSpeech получает 2,2/5,1%, то есть по точности остаётся сильнее доступного при применении ученика.

Ограничения. Прирост умеренный и зависит от положения маски и расписания её исчезновения. Метод требует обучающего выравнивания от другой системы. Сильные oracle-числа нельзя выдавать за практически достижимый результат без эталона. Работа упрощает путь декодирования Aligner-Encoder относительно RNN-T, но вычислительная сложность не заменяет измерения полной задержки на конкретном устройстве.

Фишка из статьи. Таблица I отделяет полезность длины от полезности точного пути и различает обучение с подсказкой и подсказку непосредственно на тесте. Интересно, что знание длины выглядит очень сильным в oracle-режиме, но почти ничего не передаёт ученику после удаления маски.

МаскаРежимWER clean, %WER other, %
Без маскиОбычный3,96,4
Только длинаИсчезает при обучении3,96,4
Локальный путьИсчезает при обучении3,55,9
Только длинаOracle на тесте2,35,3
Локальный путьOracle на тесте1,22,9

Как это читать: хорошая диагностическая подсказка не обязательно является хорошим способом обучения. Переносится прежде всего локальное соответствие кадров и токенов, а не общая длина. Последние две строки показывают потенциал задачи при известном выравнивании, но не являются честной заменой первым трём строкам в сравнении готовых систем.

Источник. Оригинальное название: Scaffolding Self-Transduction with Alignment Attention Mask for Aligner-Encoder ASR. arXiv:2611.15087; полный текст PDF.

Оригинальная статья на arXiv