LongCap: описания аудиособытий с временными метками на записях длительностью в несколько часов
LongCap описывает звуковые события с временными метками и структурированными свойствами, а также распознаёт речь и различает говорящих в длинных записях. Вместо чтения всего аудио перед первым ответом модель чередует звуковые блоки и их описания. Существенный результат: само наличие большого контекста не обеспечивает устойчивого вывода, если обучение приучило откладывать весь ответ до конца.
Метод. Звуковой кодировщик Qwen3-Omni-Captioner связан с текстовыми Qwen3.5 разных размеров. Блоки 8, 16, 24 или 32 с поступают вместе с предыдущими аудио и сгенерированными описаниями, которые сохраняются в контексте. Времена задаются относительно текущего блока; пересекающее границу событие относится к блоку своего окончания. Описания используют 62 возможных ключа. Обучение сочетает распознавание с диаризацией, короткие подписи и длинный текст; позднее переаннотируются отдельные события, чтобы детали не редели к концу блока.
Результаты. Для модели 35B-A3B macro-средние DER/WER на шести условиях составляют 11,88%/15,20%. На LongCapBench-Diar-Long это 6,02%/6,85%. В задаче аудиоописаний до дополнительной самодистилляции tcpCapSim короткого теста растёт с 61,65% у 0.8B до 64,59% у 35B-A3B. Расширение длинного обучения уменьшает полнозаписную TER модели 35B-A3B с 44,84% до 41,09%: временное покрытие всё ещё далеко от безошибочного.
Ограничения. Длинный тест общих звуков содержит всего четыре записи, максимум около 117 минут; в хвосте остаётся один пример. Семантическое сопоставление событий и часть оценок зависят от языковых судей. Сохранение всей истории требует растущего контекста и памяти, поэтому блочный вывод не означает фиксированный расход ресурсов. Демонстрация на 16 часах склеенного аудио проверяет возможность обработки, а не надёжную диаризацию стольких участников.
Фишка из статьи. Таблица 6 сравнивает две 2B-модели с разным порядком обработки на LongCapBench-Diar-Long. Это отдельная уменьшенная абляция, не основные показатели большой модели.
| Порядок обработки | DER, % | WER, % | tcpWER, % |
|---|---|---|---|
| Всё аудио, затем весь ответ | 109,13 | 80,59 | 147,16 |
| Аудиоблок, затем его ответ | 20,30 | 12,74 | 34,80 |
Как это читать: вывод рядом с событием резко облегчает экстраполяцию по длине; большие ошибки целостного варианта включают ложные активности и вставки, поэтому могут превышать 100%. При этом блоки не стирают историю. Эффект относится к обучаемому порядку чтения и ответа, а не к утверждению, что любое независимое нарезание длинной записи решает проблему контекста.
Источник. Оригинальное название: LongCap: Hour-Scale Timestamped Audio Captioning via Chunk-wise Processing. arXiv:2611.11125; полный текст PDF.