Обучение Aligner-Encoder с постепенно исчезающей маской выравнивания
Aligner-Encoder учится сопоставлять акустические кадры с выходными токенами, но особенно на длинных фразах такое соответствие формируется ненадёжно. Авторы временно подсказывают путь выравнивания маской внимания, полученной от RNN-T. Подсказка исчезает ещё во время обучения, поэтому при распознавании не нужны ни эталонный текст, ни внешний выравниватель.
Метод. RNN-T строит принудительное выравнивание аудио и обучающей транскрипции. Вокруг этого пути разрешают полосу связей у выбранных голов внимания одного слоя Aligner-Encoder. Маску ослабляют с 2 000-го по 10 000-й шаг; затем сеть продолжает обучение без неё. Отдельный контроль использует только общую длину последовательности, без локального пути. В диагностическом режиме oracle маска остаётся и на тесте, но использует сведения из эталона: это недоступная обычной системе подсказка, а не результат готового распознавателя.

Результаты. На LibriSpeech test-clean/test-other WER меняется с 3,9/6,4% до 3,5/5,9% после исчезающей путевой маски. Для фраз длиннее 17 секунд на test-clean ошибка снижается с 11,7% до 9,3%, на test-other с 12,8% до 10,8%. Средний WER пяти языков Common Voice уменьшается с 12,4% до 12,0%. Сам RNN-T-учитель на LibriSpeech получает 2,2/5,1%, то есть по точности остаётся сильнее доступного при применении ученика.
Ограничения. Прирост умеренный и зависит от положения маски и расписания её исчезновения. Метод требует обучающего выравнивания от другой системы. Сильные oracle-числа нельзя выдавать за практически достижимый результат без эталона. Работа упрощает путь декодирования Aligner-Encoder относительно RNN-T, но вычислительная сложность не заменяет измерения полной задержки на конкретном устройстве.
Фишка из статьи. Таблица I отделяет полезность длины от полезности точного пути и различает обучение с подсказкой и подсказку непосредственно на тесте. Интересно, что знание длины выглядит очень сильным в oracle-режиме, но почти ничего не передаёт ученику после удаления маски.
| Маска | Режим | WER clean, % | WER other, % |
|---|---|---|---|
| Без маски | Обычный | 3,9 | 6,4 |
| Только длина | Исчезает при обучении | 3,9 | 6,4 |
| Локальный путь | Исчезает при обучении | 3,5 | 5,9 |
| Только длина | Oracle на тесте | 2,3 | 5,3 |
| Локальный путь | Oracle на тесте | 1,2 | 2,9 |
Как это читать: хорошая диагностическая подсказка не обязательно является хорошим способом обучения. Переносится прежде всего локальное соответствие кадров и токенов, а не общая длина. Последние две строки показывают потенциал задачи при известном выравнивании, но не являются честной заменой первым трём строкам в сравнении готовых систем.
Источник. Оригинальное название: Scaffolding Self-Transduction with Alignment Attention Mask for Aligner-Encoder ASR. arXiv:2611.15087; полный текст PDF.