Как уменьшить потребность в данных при переносе модели распознавания эмоций речи

Классическую адаптацию fMLLR авторы возвращают внутрь самообученной речевой модели, чтобы компенсировать различие между обучением и записью у робота. Высокоразмерные признаки сначала сжимаются до 40 координат, где устойчивее оценивается аффинное преобразование. Метод помогает при недостатке размеченных данных, но требует адаптации последующей нейросети и знания акустики целевого помещения.

Метод. Между свёрточным кодировщиком wav2vec 2.0 и Transformer вставляется свёрточный автокодировщик 512→256→128→64→40 с симметричным декодером. GMM описывает сжатые признаки; fMLLR оценивает их поворот, масштаб и сдвиг без языковой модели и транскрипций. Обучающая речь заранее искажается измеренными комнатными откликами и шумом, а реальные признаки компенсируются к этому моделируемому домену. После этого Transformer и регрессионная голова повторно обучаются оценивать возбуждение, доминирование и эмоциональную окраску.

Результаты. Основной материал MSP-Podcast 1.9, 137 часов. Тест HRI-static получен проигрыванием его тестовой речи перед PR2 с Kinect: источник в двух метрах, ресторанный шум с SNR 5 дБ, обработка MVDR. При половине обучающего набора средний CCC растёт с 0,334 до 0,382, относительное улучшение 14,4%; для эмоциональной окраски 0,224→0,289. При 7138 записях, 12,9% набора, заявлено 16,8% относительного выигрыша. С полным набором базовая модель уже немного лучше, различие 2,9% статистически незначимо.

Ограничения. Проверка стационарная: известны направление источника, отклики и тип шума, а эмоции перенесены из подкаста через громкоговоритель. Это не запись спонтанного разговора с движущимся роботом. Нет контрольного варианта с автокодировщиком и повторным обучением, но без fMLLR, поэтому вклад компенсации отдельно от адаптации архитектуры не полностью выделен. Число гауссиан подбиралось на целевой валидации, измерения задержки и работы на самом роботе отсутствуют. Статистика по частям теста не заменяет повторные независимые обучения.

Фишка из статьи. Сопоставление таблиц I–II показывает разрыв между близостью признаков и решением целевой задачи. fMLLR уменьшает MSE сжатых признаков с 1,3148 до 0,0218, но без переобучения верхних слоёв средний CCC остаётся ниже исходного.

Как это читать: снижение MSE на 98,34% не означает сохранения эмоциональной информации в удобной для старой головы форме. Более того, увеличение GMM с 64 до 128 компонент обрушает валидационный CCC с 0,3447 до 0,0225, хотя информационный критерий предпочитал более сложную смесь. Контроль численной устойчивости матриц здесь важнее автоматического выбора наибольшей статистической модели.

Источник. Оригинальное название: Improving the Dependency on Fine-Tuning Data in Transfer Learning for Speech Emotion Recognition. arXiv:2610.38050; полный текст PDF.