MCRA–FALA: адаптация связей и покадровый выбор слоёв WavLM для проверки диктора

Настраивать представления диктора можно не только добавлением небольших нейронных слоёв, но и изменением того, как уже вычисленные признаки проходят по остаточным связям. MCRA смешивает группы каналов ограниченной матрицей, а FALA выбирает вклад слоёв отдельно для каждого кадра. При почти неизменном предобученном кодировщике эти два приёма дают заметный выигрыш на VoxCeleb, но значительно меньший на CN-Celeb.

Метод. Скрытое состояние делится на N групп. Матрица смешивания нормируется Sinkhorn так, чтобы суммы и строк, и столбцов были единицами; обучаемый затвор вначале почти сохраняет исходный путь. FALA использует один общий обучаемый запрос без обычных матриц проекции Q/K/V, но сравнивает его с зависящими от входа состояниями каждого слоя на каждом кадре. WavLM заморожена, за ней обучается ECAPA-TDNN. Проверяются WavLM Base+ и Large, три списка VoxCeleb1 и китайский CN-Celeb.

Результаты. Для WavLM-Large с AS-Norm EER VoxCeleb1-O/E/H уменьшается с 0,85/1,12/2,06% до 0,66/0,84/1,69%. На O это 22,4% относительного уменьшения, но полная настройка кодировщика в таблице остаётся лучше: 0,38%. LoRA даёт 0,65% на O и 0,74% на E, поэтому предложенный подход не лидирует по всем тестам. На CN-Celeb EER уменьшается лишь с 8,72 до 8,47%, примерно на 2,9% относительно исходной системы.

Ограничения. Числа 0,0009% и 0,0016% относятся к добавленным параметрам адаптации внутри предобученной части, не ко всем обучаемым параметрам системы: ECAPA-TDNN и классификационная голова остаются. Малое число весов также не отменяет стоимости полного WavLM-Large при выводе. Разные языки и жанры дают неодинаковый выигрыш; нет доказательства такого же эффекта на незнакомых каналах реальной идентификации или малого процессорного бюджета.

Фишка из статьи. Сама возможность смешивать остаточные признаки не гарантирует улучшения. При одинаковом окружении из таблицы V важны ограничения сразу на обе суммы матрицы, а не просто добавление свободных параметров.

Как это читать: более гибкое преобразование способно ухудшить голосовое пространство. Ограниченная передача информации и мягкое включение адаптера здесь важнее номинальной ёмкости. Это полезный контроль для собственных адаптеров: сравнивать надо не только с отсутствием модуля, но и с его менее ограниченными вариантами.

Источник. Оригинальное название: Manifold-Constrained Residual Adaptation with Frame-Adaptive Layer Aggregation for Speaker Verification. arXiv:2610.25892; полный текст PDF.