Многоклассовая классификация речи при различающихся шумовых условиях
Если каждому классу в обучающих данных соответствует свой фоновый шум, классификатор может распознавать шум вместо речи и при этом выглядеть точным на обычном тесте. Авторы строят контролируемый многоклассовый опыт на распознавании эмоций и показывают, что подавление шума не решает проблему: артефакты улучшения сами становятся удобной подсказкой.
Метод. В IEMOCAP для четырёх эмоций синтетически задаются разные шумы при 20 дБ, 10 дБ и случайном отношении сигнал/шум. Предлагаемая перекрёстная аугментация добавляет к каждому примеру шум каждого другого класса, разрушая связь «шум — метка». Сравниваются точная шумовая дорожка, практически оценённый шум из неречевых участков, случайный чужой класс, попарная аугментация в пакете и два алгоритма улучшения речи.
Результаты. При 20 дБ стандартное обучение даёт 82,5% невзвешенной точности на зашумлённом тесте, но лишь 44,2% на чистом: почти весь запас объясняется шумовой подсказкой. Полная перекрёстная аугментация с точным шумом выравнивает показатели до 48,0% и 47,8%; с практически оценённым шумом — до 53,3% и 52,3%. При 10 дБ практический вариант сокращает разрыв, но не закрывает его: 44,7% против 45,8%.
Ограничения. Различие шумов создано синтетически в одном корпусе и одной задаче распознавания эмоций. Неречевые участки считаются чистой оценкой фона, что нарушается в реальной записи. Абсолютная точность устойчивого классификатора остаётся заметно ниже 59,3% на исходных чистых данных, поэтому устранение короткого пути не равнозначно хорошему распознаванию эмоций.
Фишка из статьи. Улучшение речи даёт редкий отрицательный результат: если обучать и проверять классификатор после одного и того же улучшателя, точность на обработанном звуке превышает результат на чистой речи. Значит, модель научилась читать устойчивый «почерк» улучшателя, связанный с исходным шумом.
| Условие, 10 дБ | Зашумлённый тест | Чистый тест | Тест после того же улучшателя |
|---|---|---|---|
| Обычное обучение | 94,4% | 28,2% | — |
| Полная перекрёстная аугментация, точный шум | 50,1% | 37,9% | — |
| Полная перекрёстная аугментация, оценённый шум | 44,7% | 45,8% | — |
| Улучшатель CR | 52,7% | 31,1% | 85,4% |
| Улучшатель SB | 31,9% | 31,5% | 79,4% |
Как это читать: очень высокая точность после улучшения — не успех очистки, а диагностический признак утечки. Честная устойчивость проявляется в малом разрыве между зашумлённым и чистым тестами, даже если абсолютный балл ниже.