Управление активациями для повышения точности распознавания речи и снижения различий между группами
Работа сравнивает два способа сдвигать скрытые активации распознавателя без изменения его весов: разность средних представлений и обучаемые добавочные векторы. Первый почти не помогает, второй уменьшает ошибку и различия качества между группами дикторов. Особенно интересен результат о персонализации: вектор от акустически похожих людей иногда полезнее вектора, обученного на самом целевом человеке.
Метод. Один и тот же вектор слоя прибавляется ко всем кадрам; при обучаемом варианте совместно оптимизируются векторы слоёв энкодера по CTC или NLL. Основная модель заморожена, обучение идёт 500 шагов с выбором по валидационному CER. Проверяются Wav2vec 2.0-base, HuBERT-large и Whisper-small на Sonos и L2-ARCTIC. Данные для векторов берутся у самого диктора, демографической группы, акустического кластера или всего корпуса.
Результаты. На Sonos при 100 акустических кластерах средний по дикторам CER Wav2vec 2.0 уменьшается с 7,82 до 5,39%, HuBERT — с 5,84 до 3,50%, Whisper-small — с 3,87 до 2,65%. Простое вычитание активаций даёт лишь сотые доли процентного пункта. Разброс ошибки между демографическими группами обычно уменьшается, хотя возрастная ось Whisper остаётся исключением.
Ограничения. Обучаемые векторы всё равно требуют размеченной речи соответствующего домена: отсутствие метки нового диктора не превращает весь метод в обучение без учителя. Вычитание проверяется без совпадающих текстов пар, поэтому отрицательный результат нельзя распространять на другие условия построения векторов. Кластеризация на малом L2-ARCTIC менее надёжна; улучшение группового разброса не является универсальной гарантией справедливости.
Фишка из статьи. Таблица 3 показывает, что «свои» данные не всегда лучше. Все величины — абсолютный средний CER на Sonos, не относительное изменение.
| Модель | Без сдвига, % | Вектор самого диктора, % | Акустические кластеры K=100, % |
|---|---|---|---|
| Wav2vec 2.0-base | 7,82 | 6,25 | 5,39 |
| HuBERT-large | 5,84 | 4,33 | 3,50 |
| Whisper-small | 3,87 | 2,92 | 2,65 |
Как это читать: при малом числе реплик личный вектор переобучается легче, а акустический кластер даёт больше подходящих примеров. Авторы наблюдают усиление этого эффекта у слабо представленных дикторов. Практическое следствие — сравнивать персональную адаптацию с объединением похожих голосов, а не считать максимальную персональность заранее оптимальной.
Источник. Оригинальное название: How to get the best and fairest performance out of your ASR system using activation steering. arXiv:2610.26994; полный текст PDF.