CLRM: межслойные отношения для обнаружения поддельной речи

Слои речевого кодировщика несут разные сведения о говорящем и синтезе. CLRM не просто выбирает или усредняет слои, а явно вычисляет различия и взаимодействия двух представлений и добавляет отдельную оценку к уже обученному детектору. Интересен случай, когда новый классификатор сам по себе хуже исходного, но их объединение всё равно улучшает результат.

Метод. Из каждого выбранного слоя XLS-R-300M берутся временные среднее и стандартное отклонение, нормированные по обучающим данным. Два вектора дополняются абсолютной разностью, покоординатным произведением и косинусным сходством. Три независимо обученные небольшие головки усредняют свои оценки, затем логистическая модель объединяет их с исходным детектором. Кодировщик и исходный детектор заморожены. Шесть кандидатных пар выбираются по геометрии относительно говорящих и разделению по глубине, окончательный выбор производится по детекции на исходной проверочной части; в основном опыте это слои L8 и L21.

Результаты. Средняя EER по пяти внешним наборам уменьшается с 7,16 до 6,46% для XLSR-SLS, с 6,85 до 6,32% для TCM и с 7,17 до 5,97% для AASIST. Это относительное снижение примерно на 7,8–16,7%, а не столько процентных пунктов. Улучшение не универсально по каждому набору: у SLS на ASVspoof 2021 DF ошибка меняется с 1,77 до 1,91%, на In-the-Wild с 7,28 до 7,45%. Внешний средний результат поэтому не отменяет регрессий отдельных областей.

Ограничения. Основной исходный протокол разделяет атаки, но допускает общие настоящие записи между Meta-dev и Meta-test. Дополнительно проверены независимость записей и говорящих с повторным подбором конфигурации. Многократные запуски и компонентные абляции относятся главным образом к исходной области, внешние EER приведены точечными оценками. Для геометрического выбора нужны метки говорящих, хотя при применении они не требуются. Не измерены дополнительная память и задержка трёх головок; «замороженный» не означает бесплатный кодировщик.

Фишка из статьи. Таблица 3 сравнивает одинаковые L8–L21 признаки при близком числе параметров головки. Внешняя EER усреднена по пяти наборам, меньшие значения лучше; на каждый вариант обучены три головки.

Как это читать: отношения полезны не потому, что отдельная головка стала лучшим детектором: её EER 11,333% хуже исходных 7,158%. Она приносит дополнительную информацию, тогда как простая конкатенация при близкой ёмкости после объединения даже ухудшает исходный результат. Это более убедительный контроль конкретного представления, чем сравнение только с отсутствием нового модуля.

Источник. Оригинальное название: CLRM: Cross-Layer Relation Modeling for Audio Deepfake Detection. arXiv:2611.05678; полный текст PDF.