InterCorrect: коррекция демографического слияния моделей для справедливого распознавания речи

InterCorrect пытается объединить адаптации распознавателя для разных демографических групп, не потеряв людей на пересечении признаков, например возраста и первого языка. Корректирующие векторы выбираются там, где WER высока или обновления подгрупп конфликтуют.

Метод. В SLAM-ASR дообучается только коннектор на подмножествах Fair-Speech. Сначала адаптации возраста, пола, этничности, социально-экономического статуса и первого языка сливаются глобально пятью алгоритмами. Затем cross-axis пары ранжируются по ошибке или конфликту task-vector; их отдельные векторы добавляются к глобальной модели с коэффициентами, настроенными на validation.

Результаты. Глобальное слияние снижает WER базовой модели с 7,38% до 6,38–6,77%. TIES с коррекцией по WER достигает 5,13%, относительный выигрыш 30,5%; по возрасту ошибка падает с 6,27% у глобального TIES до 4,71%, по полу с 6,62% до 5,26%. На выбранных пересечениях TIES-M3 получает 74,80% ошибки глобальной модели.

Ограничения. Fair-Speech остаётся одним английским набором с заданными категориями, а критерии и коэффициенты подбираются на validation. Дообучается только коннектор конкретной Speech-LLM, поэтому перенос на CTC/RNN-T или другие языки не показан. Снижение среднего WER не гарантирует справедливость внутри каждой оси.

Фишка из статьи. Лучший по средней ошибке вариант TIES-M1 одновременно увеличивает разрыв между лучшей и худшей группой по возрасту и социально-экономическому статусу. Это редкий честный отрицательный результат для fairness-метода.

Как это читать: средние ошибки подгрупп улучшаются, но max–min gap может вырасти, если одна крайняя группа выигрывает меньше другой. Для справедливости нужно одновременно показывать общий WER, ошибки подгрупп и разрыв внутри осей.