AT-Differ: набор данных для описания расхождений между звуком и текстом

AT-Differ учит модель объяснять, чем текстовое описание не соответствует услышанному: перепутано событие, пропущен звук или нарушен временной порядок. Вместо обычного вопроса о совпадении пары авторы строят многоступенчатую задачу обнаружения, классификации и описания расхождения. Важный отрицательный результат: обучение только красивому описанию улучшает метрики текста, но резко ухудшает распознавание типа ошибки.

Метод. Из одиночных событий FSD50K синтезируются сцены с одним или двумя источниками, последовательным либо одновременным звучанием. Шаблонные тексты создают пять видов расхождений, включая неверное событие, пропуск в одной из модальностей, перестановку порядка и путаницу одновременности с последовательностью. Qwen3-Omni-30B-A3B-Thinking дообучается одну эпоху через LoRA ранга 16 в проекциях Q, K, V и O внимания. Сравниваются обучение только описанию, единая последовательность трёх ответов и раздельные равновесные функции потерь.

Результаты. Единая последовательность ответов повышает точность обнаружения с 80,9 до 94,8%, а классификации типа с 58,5 до 91,7%. Раздельные потери дают почти те же результаты, 94,7 и 91,9%, без очевидного преимущества более сложного взвешивания. При обучении только описанию соответствующие показатели падают до 75,4 и 20,2%. При этом автоматические показатели сходства самих описаний улучшаются, то есть два вида оценки расходятся.

Ограничения. Сцены синтетические, а описания и эталоны шаблонные: перенос на реальные записи с перекрытиями и свободным человеческим текстом не показан. Проверен один основной модельный каркас. Это набор общих звуковых событий, не готовая система выявления словесных галлюцинаций распознавателя. Лексические метрики особенно уязвимы: случайная стратегия с фиксированными событиями достигает SPIDEr 2,659 против 0,735 у исходной модели, что нельзя трактовать как лучшее понимание звука.

Фишка из статьи. Таблица результатов разделяет смысловую диагностику и обучение описанию. Строка «только описание» важна именно как неудачная постановка цели, а не просто как более слабый вариант сети.

Как это читать: сходство с эталонной фразой не гарантирует верного объяснения причины. Включение явных промежуточных решений сохраняет структуру задачи и здесь полезнее одной цели генерации текста. Но высокую точность на контролируемых шаблонах ещё нужно подтвердить независимой оценкой смысла, свободными описаниями и реальными акустическими сценами; особенно важно не выбирать вариант по одному BLEU или SPIDEr.

Источник. Оригинальное название: AT-Differ: Dataset for Audio-Text Difference Captioning. arXiv:2610.29836; полный текст PDF.