Совместное распознавание и поиск поддельных слов: защищённое подпространство и оптимизация относительно эталонной модели

Поддельное слово полезно отмечать прямо в расшифровке, а не сначала искать интервал во времени и затем сопоставлять его словам. Авторы объединяют речевые признаки Qwen2.5-Omni с признаками детектора подделок, ограничивая изменение защищённого акустического подпространства. Затем модель обучают по совместной ошибке текста и меток относительно замороженного варианта после обычного дообучения.

Метод. SVD настоящих обучающих записей VCTK выделяет 175 направлений, объясняющих 95% вариации признаков Omni. APSGF вводит и фильтрует признаки замороженного MultiReso только в ортогональном дополнении. Языковая модель с DoRA выдаёт слова с обрамляющими метками подделки; многозадачный вариант сначала предсказывает тип всей реплики: настоящая, частично или целиком синтетическая. RAPO генерирует одно продолжение и сравнивает его награду с заранее вычисленным жадным ответом замороженной модели, добавляя KL-регуляризацию. Это избегает слабого сигнала группы почти одинаковых GRPO-продолжений.

Результаты. На пяти наборах средний WER многозадачного варианта 5,4%, макро-WordF1 по четырём наборам с подделками 0,901. Без APSGF и RAPO соответственно 6,9% и 0,874. Но новый LlamaPartialSpoof остаётся трудным: WordF1 0,759 у многозадачного варианта против 0,838 у варианта только с текстом и словесными метками. Одновременно точность типа всей реплики растёт с 0,454 до 0,805. Значит, улучшение грубой классификации может сопровождаться ухудшением точной локализации.

Ограничения. Один аудиоязыковой каркас, английские данные и записи, обрезанные до 40 с. У разных базовых методов разные обучающие наборы; сравнения не полностью контролируемые. Повторяющиеся тексты VCTK требуют осторожности при трактовке WER 0,4%. Подход не обнаруживает удалённые слова, которых больше нет в сигнале. Сохранение линейной проекции признаков математически обеспечено конструкцией, но не гарантирует неизменный WER нелинейного декодера и не удостоверяет происхождение произвольной записи.

Фишка из статьи. Таблица 3 позволяет отделить выигрыш слияния от выигрыша последующего обучения. Средний WER и WordF1 имеют разные наборы усреднения, а новая область не обязана повторять среднее.

Как это читать: защищённое слияние преимущественно улучшает среднее распознавание, но само по себе не помогает словесным меткам новой области. RAPO даёт почти весь наблюдаемый там выигрыш. Объединение компонентов полезно, однако одинаковая средняя F1 не доказывает, что оба независимо повышают устойчивость к неизвестным генераторам.

Источник. Оригинальное название: ASR-Protected Fusion and Reference-Anchored Policy Optimization for Joint ASR and Word-Level Speech Anti-Spoofing. arXiv:2610.34156; полный текст PDF.