Wav2Aug: готовая политика аугментации речевой волны

Один набор преобразований аудиоволны проверяется сразу на распознавании слов, эмоций, языка, ключевых команд и речевой активности. Wav2Aug случайно выбирает две операции из заранее откалиброванного пула и не перенастраивает их диапазоны под каждую новую задачу. Польза здесь прежде всего в переносимом рецепте для моделей с волновым входом, а не в замене SpecAugment на всех тестах.

Метод. Основной пул содержит добавление шума, частотные режекторные фильтры, обнуление коротких участков, изменение скорости, ограничение амплитуды и перестановку малых фрагментов; расширенный добавляет речевую помеху, изменение уровня и инверсию полярности. Диапазоны один раз выбираются на трёх задачах распознавания с разными моделями. На каждом пакете выбирается одна пара разных операций, индивидуальные параметры варьируются по записям. Затем фиксированную политику проверяют на пяти новых задачах распознавания и пяти других речевых задачах, по пять зерён обучения.

Результаты. Пул из шести операций в среднем снижает относительную ошибку речевых задач, отличных от распознавания, на 12,8% против лучшего совместимого фиксированного SpecAugment. Для ключевых команд ошибка 3,62→2,81%, для речевой активности LibriParty 8,44→6,20%. На распознавании преимущества нет: AISHELL-1 CER 6,08% против 5,80% у SpecAugment SM, немецкий Common Voice WER 7,47% против 7,31% у LB. На SLURP разность всего 0,03 пункта WER меньше стандартного отклонения и разумно трактуется как сопоставимость.

Ограничения. Диапазоны аугментации фиксированы, но скорость обучения и затухание весов отдельно подбираются для каждой политики сеткой 3×3: это не полностью готовое обучение без настройки. Сравнение идёт с фиксированными рецептами SpecAugment, а не с оптимальной для каждого набора политикой. Усреднение относительных ошибок разных задач не является одной универсальной метрикой. Дополнительные представления увеличивают эффективный пакет, память и время, поэтому их выигрыш не получен при равных вычислениях. Проверка в основном относится к стандартным корпусам, не к непрерывной полевой эксплуатации.

Фишка из статьи. Таблица IV фиксирует расширенный пул из девяти операций и число уникальных записей, но добавляет независимые искажённые копии в пакет. Значения ниже являются процентами ошибки, а тип ошибки различается по столбцам.

Как это читать: четыре представления не доминируют два: они помогают эмоциям и немного CER, но ухудшают язык. Две искажённые копии без оригинала дают лучший средний компромисс, 19,6% относительного выигрыша против исходного обучения без аугментации на этих трёх задачах. Этот опыт полезен при планировании памяти: разнообразие одного обновления быстро насыщается, а дополнительный объём вычислений остаётся.

Источник. Оригинальное название: Wav2Aug: A Drop-In Speech Augmentation Policy. arXiv:2610.38656; полный текст PDF.