Одной частоты ошибок недостаточно: цена расширения данных в малоресурсном распознавании речи

Работа оценивает расширение данных не только по PER/WER, но и по цене конкретных фонологических ошибок. SpecAugment в среднем улучшает распознавание, однако чаще стирает тон и палатализацию; добавление синтетических фраз со случайно подобранными словами частично возвращает редкие признаки.

Метод. Эксперименты проведены для Vatlongos, Nashta, Shinekhen Buryat и Kakabe, дополнительно используется английский контроль. Сравниваются временно-частотные маски SpecAugment, синтез речи из обычных и случайно собранных текстов, а ошибки размечаются по фонологическим классам, а не только сворачиваются в одну частоту.

Результаты. SpecAugment в среднем снижает PER на 1,5 и WER на 2,8 абсолютного пункта, но увеличивает ошибки тона на 4%, палатализации — на 7%. Случайные фразы вместе со SpecAugment дают лучший WER для всех четырёх языков: Kakabe 47,8→43,1%, Nashta 59,1→51,1%. Относительно одного SpecAugment тоновые ошибки падают на 9% (p=0,043), палатализационные — на 20% (p=0,061).

Ограничения. Тональный язык в исследовании один, синтез использует фиксированные пять голосов, а случайные фразы могут быть синтаксически невозможны. Объяснение через выравнивание частот признаков убедительно, но не полностью отделено от домена синтезатора и предобучения.

Фишка из статьи. Временная маска длиной 60–200 мс не объясняет рост тоновых ошибок; важнее исходный дисбаланс признаков.

Как это читать: средний WER может улучшаться одновременно с ухудшением лингвистически важного редкого контраста. Полезность расширения определяется тем, какие ошибки оно перераспределяет, а не только итоговой суммой.

Источник: arXiv:2610.13807. Оригинальное название: Error Rate is Not Enough: Costs of Augmentation in Low-Resource ASR.