Универсальный локальный извлекатель речевых признаков: замена свёрточного фронтенда через дистилляцию
В HuBERT, WavLM и data2vec значительная доля вычислений тратится ещё до преобразователя, на похожие свёрточные фронтенды. Авторы заменяют их небольшим локальным MLP, обученным повторять признаки одного или нескольких учителей. Цель состоит не в уменьшении всей сети, а в переносимом короткооконном преобразовании исходной волны.
Метод. Фронтенд получает 400 отсчётов, около 25 мс при 16 кГц, и выдаёт представление с шагом 320 отсчётов. Два слоя по 1024 признака с нормализацией и ReLU дополняются проекцией к размерности 768. Дистилляционная потеря объединяет абсолютное расстояние и косинусное сходство; учителя — базовые HuBERT, data2vec и WavLM Base+. Используются 100 часов разнообразной речи. Проверяются прямая замена у учителей, продолжение самообучения на wav2vec 2.0, не участвовавшей как учитель, и обучение новой модели с замороженным фронтендом.
Результаты. Локальная стоимость уменьшается примерно со 153 тысяч до 4,6 тысячи MAC на отсчёт длинного входа, то есть до 3% исходной. Время полного кодировщика на RTX PRO 5000 Blackwell сокращается более чем на 20%, а не в 33 раза: основная модель остаётся. При обучении wav2vec 2.0 с нуля WER test-clean составляет 9,7% против 10,1% со свёртками. На задачах SUPERB(-SG) качество в основном близко исходному; вариант одного сильного учителя не уступает многим учителям систематически.
Ограничения. Перенос исследован у архитектур с похожими базовыми фронтендами и временным разрешением; универсальность для больших кодировщиков и иных частот дискретизации не доказана. У чужой wav2vec 2.0 после продолженного обучения остаются небольшие потери на части задач. Некоторые опубликованные результаты преобразования голоса не удалось воспроизвести, и эту задачу исключили. Ускорение измерено на конкретной GPU, а не на телефоне или малом процессоре.
Фишка из статьи. Упрощение фронтенда не равно замене волны на mel-признаки. Отдельный контроль MelHuBERT, обученный с нуля, показывает, что близкий WER может скрывать потери других локальных акустических сведений.
| Контрольная задача | MelHuBERT | HuBERT |
|---|---|---|
| WER clean, меньше лучше | 9,7% | 9,9% |
| Ключевые слова, accuracy | 88,1% | 95,4% |
| Поиск по речевому образцу, MTWV в шкале таблицы | 1,7 | 7,4 |
| Распознавание намерения, accuracy | 84,6% | 89,4% |
Как это читать: контрольные модели обучены отдельно; это не абляция одного и того же декодера при мгновенной замене входа. Тем не менее совпадение распознавания слов не гарантирует совпадения акустического представления. Поэтому переносимый фронтенд проверяют на наборе разных задач, а не объявляют универсальным только по LibriSpeech.
Источник. Оригинальное название: Toward a Universal Local Speech Feature Extractor Through Distillation. arXiv:2610.24424; полный текст PDF.