SURE-Tagger: структурированная разметка речи для составных проверок и целевого отбора данных
SURE-Tagger превращает свободное описание аудио в проверяемые поля: сколько дикторов, есть ли перекрытие, шум, музыка и другие условия. Значение null отделяет недостаток свидетельств от подтверждённого отсутствия признака. Практическая цель состоит не только в более аккуратной карточке записи, но и в поиске сочетаний условий, на которых распознаватель систематически ошибается.
Метод. Специализированные модели определения языка, распознавания, событий и диаризации дают наблюдения, а один вызов DeepSeek-V4-Pro сводит их в общую схему с ограничениями и описаниями. Конфликты языка дополнительно проверяются по транскрипции. Составные запросы включают запись только при подтверждении всех требуемых полей; null не считается отрицательным ответом. Tag-Bench объединяет 650 реальных записей и 500 синтетических сцен. Их эталоны основаны на проверке готового звука и журналах создания, не только на первоначальном запросе генератору.
Результаты. На 29 осях оценки метод лидирует в 25 случаях для реальных и 24 для синтетических записей. Общий балл равен 76,28 и 78,88%, против 62,79 у Qwen3-Omni-Flash на реальных и 63,54 у Captioner на синтетических. На тысяче записей из десяти источников кластер короткой речи с низким SNR даёт Qwen3-ASR-1.7B ошибку 21,53%, длинной чистой речи 5,12%. Затем выбор примерно часа обучения по отдельному пулу уменьшает суммарную ошибку с 5,50 до 4,71%.
Ограничения. В общей ошибке объединяются английский WER и китайский/тайский CER по числу эталонных единиц: это не обычный WER одного языка. Не все поля схемы оцениваются, часть описаний проверяет LLM. Явный null получает половинный зачёт, поэтому балл около 50% может означать массовое воздержание; авторы дополнительно проверяют рейтинг без null. Стоимость разметки всего пула и запуска исходного распознавателя не входит в «один час»: это объём выбранного аудио. Сравнение составных подмножеств не устанавливает причинность отдельного акустического фактора.
Фишка из статьи. Таблица 3 сравнивает одинаковый часовой бюджет. Pool оценивает ошибки в отдельном пуле 10000 кандидатов; Eval использует ошибки самой итоговой контрольной когорты и потому методологически менее независим. Данные для дообучения в обоих случаях не пересекаются с тестом.
| Отбор для Qwen3-ASR-1.7B | Суммарная ошибка, % | Изменение относительно исходной модели |
|---|---|---|
| Без дообучения | 5,50 | — |
| Случайный час | 6,17 ± 0,34 | +12,3% |
| Pool, признаки Captioner | 6,17 ± 1,02 | +12,4% |
| Pool, SURE-Tagger | 4,71 ± 0,08 | −14,3% |
| Eval, SURE-Tagger | 4,96 ± 0,27 | −9,7% |
Как это читать: малый бюджет сам по себе не гарантирует полезной адаптации: случайный отбор здесь ухудшает исходную модель. Сильнейший результат получен у Pool без использования ошибок итогового теста, что важнее удобного, но зависимого Eval-режима. Разброс отражает три случайных отбора, не полную неопределённость всех моделей разметки и обучающих корпусов. Для принятия решения нужно считать и цену диагностики пула.
Источник. Оригинальное название: SURE-Tagger: Structured Speech Representations for Compositional Evaluation and Targeted Data Selection. arXiv:2610.32198; полный текст PDF.