Состав мини-пакетов для улучшения речи: разнообразие акустических признаков вместо случайной выборки
Даже при одинаковом шуме и отношении сигнал/шум разные голоса остаются неодинаково трудными для улучшения речи. Авторы предлагают учитывать это при составлении мини-пакетов: разбить чистые обучающие записи на квантили по акустическому признаку и брать из каждого одинаковое число примеров. Меняется только выборка данных, поэтому приём можно добавить к существующей модели без дополнительных входов и потерь.
Метод. Основной признак — средняя частота третьей форманты F3, вычисленная openSMILE. При размере пакета 8 используются четыре квантиля и по два примера из каждого; границы фиксируются заранее, выборка внутри эпохи идёт без возвращения. Проверены регрессия комплексной спектрограммы и генеративная модель на основе моста Шрёдингера, отдельно обученные на английском WSJ0, испанском CROWD и PC-GITA с речью людей с болезнью Паркинсона и контрольной группы.
Результаты. Для регрессионной модели на WSJ0 прирост E-STOI относительно зашумлённого входа повышается с 0,25 до 0,32, PESQ — с 1,42 до 1,48, SI-SDR — с 11,81 до 11,95 дБ. Более сильный эффект наблюдается у генеративной модели на CROWD: прирост SI-SDR растёт с 8,71 до 10,66 дБ. На патологической речи PC-GITA у регрессии прирост E-STOI увеличивается с 0,14 до 0,19; у генеративной модели изменения там малы.
Ограничения. Нужны чистые обучающие записи и надёжная оценка признака; на этапе применения они не требуются. Использованы четыре категории шума CHiME-3, два языка и лишь несколько моделей. Субъективного прослушивания нет, а проверка устойчивости на трёх инициализациях проведена только для регрессии на WSJ0. Большинство выигрышей невелики и не одинаковы для разных метрик.
Фишка из статьи. Полезно не любое разнообразие: стратификация по разбросу F0 почти не меняет разборчивость, тогда как F3 помогает именно по этой оси. Таблица 2 сравнивает два признака при одной и той же процедуре выборки.
| Выборка, WSJ0 / регрессия | ΔE-STOI | ΔPESQ | ΔfwSSNR, дБ | ΔSI-SDR, дБ |
|---|---|---|---|---|
| Случайная | 0,25 | 1,42 | 5,16 | 11,81 |
| Квантили среднего F3 | 0,32 | 1,48 | 6,17 | 11,95 |
| Квантили стандартного отклонения F0 | 0,25 | 1,48 | 5,17 | 11,95 |
Как это читать: одинаковые PESQ и SI-SDR могут скрывать разницу в разборчивости. Авторы связывают пользу F3 с его корреляцией с трудностью улучшения; это ещё не доказательство причинной роли самой третьей форманты.
Источники. Страница arXiv; PDF статьи. Оригинальное название: Rethinking Batch Composition: Promoting Feature Diversity for Speech Enhancement.