CAST-Bench: согласование источников звука при генерации видео со сменой планов

Красивое видео с качественным звуком может всё равно потерять реплику, отдать её не тому персонажу или забыть событие после монтажной склейки. CAST-Bench задаёт каждому запрошенному звуку источник и временную роль, а затем проверяет выполнение такого договора. Главная польза — разложение аудиовизуальных ошибок, а не очередной единственный рейтинг генераторов.

Метод. В наборе 900 двуязычных спецификаций, по сто в девяти категориях источников, включая речь, инструменты и окружение. Из них 439 требуют одного плана, 461 нескольких. Восемнадцать показателей описывают изображение, постоянство содержимого и согласование звука со смыслом. Специализированные модели дополняются вопросами к Qwen 3 Omni и Qwen 3 VL. Для личности говорящего сначала строится аудиотранскрипция с ролями, затем проверяется её соответствие персонажам и репликам. Двенадцать генераторов проверяются с тремя повторениями, девять поддерживают оба монтажных режима.

Результаты. Средние агрегированные баллы девяти общих систем составляют 74,30 для одного плана и 63,59 для нескольких. Но наборы применимых показателей и веса различаются: разницу 10,71 нельзя целиком считать чистой потерей качества от монтажа. У Seedance 2.0 правильность реплик меняется с 0,884 до 0,589, показатель наличия нужного аудио с 0,715 до 0,613. Проверка тремя людьми по 50 видео на модель даёт корреляции Спирмена с итоговой автоматической оценкой 0,833 и 0,784 для двух режимов; это точечные оценки на уровне видео.

Ограничения. Модели-судьи сами могут путать текст, источник и личность, а цепочка двух судей переносит первую ошибку дальше. Один модельный балл не является WER или субъективным MOS. Разные языки подсказок, разрешения и длительности генераторов ограничивают строгость сопоставления. Корреляция с людьми не доказывает безошибочность каждой метрики, а сравниваемые группы запросов не являются парной причинной абляцией числа планов. Коммерческие версии и доступные режимы относятся к конкретному эксперименту.

Фишка из статьи. Таблица 3 отделяет число говорящих от смены планов на речевом поднаборе. Ниже среднее аудиосмыслового показателя G3 с равным весом девяти моделей, шкала 0–100.

Как это читать: добавление говорящих связано со снижением на 3,87 и примерно 2,88 пункта, а переход между группами монтажных условий — примерно на пятнадцать. Знак различий одинаков для всех девяти систем, но состав запросов и применимых оценок различается, поэтому это диагностический профиль, не величина изолированного причинного эффекта. Практически следует отдельно проверять очередность реплик, принадлежность голоса и сохранение фоновых событий после смены кадра.

Источник. Оригинальное название: CAST-Bench: Tracing Every Sound to Its Source in Multi-Shot Audio-Video Generation. arXiv:2611.05422; полный текст PDF.