DALN: адаптация речевых классификаторов без отдельного дискриминатора домена
DALN адаптирует речевой классификатор к новому корпусу, языку или шуму без разметки целевых записей. Вместо отдельной сети, различающей домены, авторы используют сам классификатор задачи и расхождение на основе ядерной нормы. Работа интересна тем, что уменьшает сложность состязательной адаптации, но не скрывает случаи отрицательного переноса.
Метод. Замороженные HuBERT или wav2vec 2.0 дают признаки, усредняемые по времени вместе со стандартным отклонением. Небольшая обучаемая сеть решает целевую задачу, а её выходы одновременно используются для оценки расхождения исходного и целевого распределений. Оптимизация nuclear-norm Wasserstein discrepancy заменяет дополнительный дискриминатор DANN. Целевые аудиозаписи нужны уже при адаптации: это не обучение, после которого модель без всякого доступа к новому домену обобщает на него.
Результаты. Среднее изменение UAR при переносе между корпусами одного языка составляет +7,3 процентного пункта против +2,1 у CDAN и −0,1 у DANN. Для 12 межъязыковых переносов это +5,0, −0,2 и −8,2 пункта. При шумовом сдвиге средний выигрыш DALN равен 4,0 пункта, но на семи корпусах его преимущество над альтернативами статистически не подтверждается. На PC-GITA средняя точность классификации говорящих повышается на 14,6 пункта; это экспериментальная классификация, не доказательство диагностической пригодности.
Ограничения. Оценки зависят от замороженного кодировщика и репрезентативности доступной неразмеченной целевой выборки. Проверено ограниченное число корпусов, а переносы между ними не вполне независимы. Один средний выигрыш не гарантирует улучшения в каждом домене; авторы используют несколько запусков, но это не устраняет различия языков, актёрской речи и условий записи.
Фишка из статьи. Таблица 4 показывает разнонаправленность шумовой адаптации. Указаны исходная целевая UAR и изменение после адаптации, усреднённое по 20 шумовым условиям; это процентные пункты, не относительные проценты.
| Корпус | Без адаптации, % | DANN, п.п. | CDAN, п.п. | DALN, п.п. |
|---|---|---|---|---|
| CaFE | 37,1 | 0,0 | +12,3 | +15,5 |
| CREMA-D | 54,4 | +5,4 | +1,9 | +0,2 |
| EmoDB | 76,9 | −19,6 | −11,9 | −4,4 |
Как это читать: DALN существенно мягче переносит неудачный сдвиг на EmoDB, но всё равно ухудшает классификацию. На CREMA-D более простой DANN полезнее. Поэтому ценность метода состоит в удачном среднем компромиссе и меньшей потребности в дополнительных сетях, а проверка отрицательного переноса остаётся обязательной частью внедрения.
Источник. Оригинальное название: Discriminator-free adversarial domain adaptation for robust speech classification. arXiv:2611.12119; полный текст PDF.