Whisper для персидских эмоций: PCA лучше лишнего проектора

Работа проверяет, как использовать Whisper для распознавания эмоций в персидской речи, когда размеченных эмоциональных данных мало. Главный практический ход неожиданно простой: вместо обучаемого линейного проектора авторы сжимают покадровые признаки Whisper через PCA, а затем используют внимание и легкий классификатор. Статья интересна именно как инженерная заметка о том, что донастройка распознавания речи на языке не всегда важнее аккуратного уменьшения размерности признаков.

Метод. Из замороженного кодировщика Whisper-small берутся признаки размерности 768, затем они сжимаются до 512 измерений. В базовом варианте это делает обучаемый FC-проектор с 196 608 параметрами, а в основном варианте - PCA без обучаемых параметров. Отдельно авторы донастраивают Whisper-small на персидском распознавании речи: WER на этой задаче снижается примерно с 45% до 37%, после чего проверяется перенос на эмоции в ShEMO.

Результаты. Замена FC-проектора на PCA улучшает взвешенную точность с 87.73% до 89.50%, невзвешенную точность с 80.52% до 82.80% и F1 с 87.49% до 89.35%. Дополнительная персидская адаптация Whisper дает уже небольшой прирост: до 89.72% взвешенной точности, 83.73% невзвешенной точности и 89.61% F1. По сравнению с опубликованными результатами на Whisper Large V3 модель остается конкурентной, хотя использует меньший Whisper-small.

Ограничения. Проверка сделана на одном языке и одном корпусе эмоций, поэтому нельзя считать, что PCA всегда будет лучше обучаемого проектора. Перенос от персидского распознавания речи к эмоциям оказался слабым, а значит языковая адаптация кодировщика не гарантирует улучшение паралингвистических признаков. Также не хватает межкорпусной проверки и анализа устойчивости к шуму.

Фишка из статьи. Важный инженерный результат: почти весь прирост дает не адаптация Whisper под персидское распознавание речи, а безобучаемое сжатие признаков через PCA. Это уменьшает память и ускоряет эпоху обучения примерно на 30%.

Как это читать: WA взвешена по частоте классов, UA усредняет точность по эмоциям и лучше показывает редкие классы. PCA дает основной выигрыш без дополнительных обучаемых параметров, а языковая донастройка добавляет меньше одного процентного пункта.