Нужна ли финансовой речи регуляризация непрерывного обучения? EWC и mini-KFAC для распознавания звонков о прибыли
Это полезный отрицательный результат: на двух последовательных частях финансовой речи Whisper-small не забывает первую задачу, а улучшает её. EWC и более точная аппроксимация кривизны mini-KFAC мешают положительному переносу и одновременно ухудшают новую задачу.
Метод. Модель адаптируют на двух разделах Earnings22 и сравнивают обычное дообучение, диагональный EWC и mini-KFAC, приближающий матрицу Фишера блочно-кронекеровыми факторами. Каждая конфигурация повторена с пятью начальными значениями генератора.
Результаты. На второй задаче обычное дообучение получает WER 31,94±1,73%, EWC — 35,23±4,91%, mini-KFAC — 34,26±3,57%. После второй стадии WER первой задачи равен 20,68%, 21,88% и 21,52% соответственно. Изменение «забывания» отрицательно во всех случаях: −4,87, −3,66 и −4,02 процентного пункта.
Ограничения. Обе задачи происходят из одного домена и могут быть слишком близкими, чтобы вызвать катастрофическое забывание. Всего пять запусков; предпосылки параметрических тестов ненадёжны, а настоящий сдвиг отрасли, микрофона или языка не проверен.
Фишка из статьи. Более сложная оценка важности параметров не помогает, когда исходная предпосылка о забывании неверна.
| Стратегия | WER задачи B | WER задачи A после B | Забывание |
|---|---|---|---|
| Без регуляризации | 31,94±1,73% | 20,68% | −4,87 п.п. |
| EWC | 35,23±4,91% | 21,88% | −3,66 п.п. |
| mini-KFAC | 34,26±3,57% | 21,52% | −4,02 п.п. |
Как это читать: отрицательное забывание означает улучшение старой задачи. Здесь регуляризаторы защищают параметры от полезного обновления; разница EWC и mini-KFAC статистически неубедительна.
Источник: arXiv:2610.13432. Оригинальное название: Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR.