CAST: проверка контекстных слов перед транскрипцией с опорой на аудио

CAST учит распознаватель сначала кратко описывать акустические основания для выбора контекстных слов, а затем выдавать транскрипцию. Задача не в длинном рассуждении: нужно использовать правильную подсказку и отвергнуть неподтверждённую. Одновременно предложен RACE-Bench, где наличие целевого имени в списке не гарантируется, в отличие от удобного, но чрезмерно оптимистичного режима с идеальными подсказками.

Метод. На одной 30B-A3B основе сравниваются прямая транскрипция, обычное рассуждение и специальное промежуточное описание CAST. После SFT применяется GRPO; если все восемь пробных продолжений провалили доступную целевую сущность, в допустимую группу вводится исправленная траектория. SFT использует 5000 синтетических примеров, последующий этап — 2298 запросов. RACE-Bench содержит 9136 записей и четыре условия: правильный список, отсутствие контекста, извлечённые кандидаты и полностью ложный список.

Результаты. На извлечённых списках CAST достигает WER 3,2%, ошибки слов именованных сущностей 11,8% и доли пропущенных сущностей 12,9%. У Qwen3-Omni-30B-Instruct — 3,6%, 15,2% и 17,2%. Без контекста WER CAST составляет 6,2%, с полностью ложным списком — 6,3%. При этом специальный формат длиннее прямой транскрипции: в среднем 65,1 выходного токена против 27,9.

Ограничения. Проверены английский и китайский языки и одна основная размерность модели. Исправленные траектории меняют распределение обучения и требуют правил допустимости. Промежуточное описание не получает независимой награды за достоверность, поэтому улучшение транскрипции не доказывает истинность объяснений. Приведённые в статье секунды декодирования — аналитические оценки по скоростям текстовых моделей без кодирования аудио и предварительного прохода, не измеренная сквозная задержка.

Фишка из статьи. В таблице 2 можно проверить не только пользу правильного словаря, но и вред неверного. Ниже WER на одних и тех же записях.

Как это читать: оценка только с гарантированно правильными словами не измеряет склонность навязывать неподтверждённое имя. CAST сохраняет полезность списка, но почти не ухудшается при полной ошибке поиска. Это более содержательная проверка контекстного распознавания, чем единственное число WER с идеальным словарём; вывод пока ограничен испытанным набором кандидатов.

Источник. Оригинальное название: Think Before You Transcribe: Context-Steered Reasoning for Hotword-Aware Speech Recognition. arXiv:2610.26986; полный текст PDF.