TAC2: описание аудио с временными метками как композиция функций

TAC2 заменяет свободный рассказ о записи структурированной временной шкалой: события, дикторы, слова и выразительные признаки получают явные поля. Такое представление можно использовать и как вход текстового рассуждения, и как управление синтезом. Существенная идея интерфейса: уже известную расшифровку или разметку дикторов можно передать модели, не заставляя её заново угадывать всё сразу.

Метод. Три слабых учителя дают события, диаризацию и текст; их выходы сопоставляются по времени, с заданным источником авторитетной информации для каждого поля. Около двух миллионов лицензированных клипов до 30 с превращаются в задачи Instruction-Input-Output. Основа Qwen3-Omni-30B заморожена, обучаются attention-only LoRA ранга 512. Специалисты по ударению, эмоции, голосу и акустике добавляют поля; их каскад TAC2-E повторно размечает корпус, затем знания сводятся в единый TAC2-S. Не все признаки размечены людьми: часть профиля голоса получена автоматически, высота и громкость через DSP.

Результаты. В режиме «описать, затем рассуждать» TAC2-S получает 81,9% на MMSU, из них восприятие 77,8% и рассуждение 86,4%; учительский каскад 82,9% в целом. На MSU-Bench результат 82,2%. Удаление временных меток из условий генерации повышает ошибку пиков локализатора PE с 1,54 до 2,93 с. Это ошибка временного соответствия восстановленного аудио, не задержка работы системы. На общих MMAR/MMAU результаты 68,0/75,6% не означают превосходства во всех звуковых областях.

Ограничения. Схема ориентирована на речь и ограничивает передачу музыкальных и иных признаков. Похожие соседние голоса иногда сливаются, занижая число дикторов. Для записей от 30 с нужен дополнительный MOSS для межфрагментной согласованности. Оценка части синтеза самим TAC2-S может разделять ошибки учителя; независимая проверка людьми ограничена. Хорошая линейная декодируемость признака подтверждает наличие информации, но не доказывает, что адаптер лишь считывает её и ничего не переучивает.

Фишка из статьи. В приложении C разделены информация внутри сети и её правильное выражение текстом. Пиковые AUC линейных проб замороженной основы 0,89–0,99, однако выходы смещены к привычным категориям. Таблица 6 измеряет уже точность выдаваемых меток, а не AUC.

Как это читать: основа отвечает «нейтрально» в 76% случаев теста эмоций, хотя такого правильного класса там нет; американский акцент выдаёт в 42% при реальной доле 9%. Дообучение интерфейса вывода может быть важнее добавления ещё одного большого энкодера. Но 0,91 при укрупнении акцентов нельзя выдавать за 91% точности исходной 13-классовой задачи.

Источник. Оригинальное название: TAC2: Timestamped Audio Captioning as composable functions. arXiv:2610.36568; полный текст PDF.