Когда можно проредить сеть? Исследование промежуточных нейронных блоков в многоязычном синтаксическом разборе речи

Работа разбирает, когда промежуточный нейронный блок между речевым энкодером и синтаксическим анализатором действительно нужен, а когда его можно удалить. На трёх языках авторы получают до 24% меньше параметров без потери LAS, но показывают важное условие: ответ меняется в зависимости от того, дообучается ли сам речевой энкодер.

Метод. Сквозная система одновременно распознаёт речь и строит дерево зависимостей для Naija, словенского и французского. Авторы удаляют промежуточную сеть, подключают анализатор к более ранним слоям речевого энкодера и сравнивают совместно дообучаемый и замороженный текстовый энкодер. Сходство представлений измеряется CKA, чтобы увидеть, где адаптация действительно происходит.

Результаты. Простое удаление блока экономит около 12% параметров: LAS меняется с 62,7 до 61,8 для Naija, с 37,7 до 38,9 для словенского и с 50,9 до 53,3 для французского. Подключение к промежуточным слоям даёт экономию 12–24% и ускорение обучения на 5–9%; для словенского слой 18 достигает LAS 40,7 при 240 млн параметров против 37,7 и 315 млн у основы. Но при замороженном энкодере возврат LSTM поднимает LAS с 51,5 до 74,6, с 40,9 до 55,4 и с 44,8 до 62,9.

Ограничения. Проверены только три языка и конкретная архитектура совместного распознавания и разбора; качество распознавания остаётся ограничивающим фактором. Выбор удачного промежуточного слоя требует отдельного поиска. Вывод о насыщении после 9–10 часов обучения может не переноситься на большие корпуса и энкодеры другого типа.

Фишка из статьи. Один и тот же адаптер оказывается лишним при полном дообучении и жизненно важным при замороженном энкодере. CKA подтверждает механизм: промежуточный блок сохраняет сходство с исходным пространством и берёт на себя адаптацию, когда нижняя сеть не может измениться.

Как это читать: прореживание нельзя оценивать только по схеме сети. Если основа обучается вместе с задачей, она поглощает функцию переходного блока; если основа заморожена, тот же блок становится главным каналом согласования представлений.