Понимание речи без обучения на задаче в SLAM-ASR: что даёт линейный проектор, обученный распознаванию
Успешное распознавание речи через линейный проектор ещё не означает, что языковая модель умеет рассуждать по тем же аудиотокенам. Авторы обучают отдельные проекторы SLAM-ASR для 11 языков и обнаруживают сильный разрыв между ответами по аудио и по его текстовой расшифровке. Особенно показателен обходной путь: сначала получить собственную расшифровку, затем задать вопрос по ней — и качество резко растёт без улучшения самого распознавания.
Метод. Замороженный Whisper-medium соединяется линейным проектором с замороженной Tiny Aya Global; обучается только проектор по данным транскрибирования WorldSpeech. На FLEURS проверяются распознавание, вопрос «да/нет» и классификация семи тем. Отдельно измеряется IFR — доля ответов в требуемом формате — и сбалансированная точность BAcc среди отвеченных примеров. В приложении исследованы также другие декодеры и каскад с собственным распознанным текстом.
Результаты. Средний IFR для «да/нет» равен 49,8%; требование выбрать тему одной цифрой поднимает IFR до 81,3%, но тематическая BAcc остаётся 23,2% при случайном уровне 14,3%. Тот же декодер по эталонному тексту достигает 71,5%, а по собственной расшифровке проектора — 52,5%. При почти равном CER французского и хинди, 15,26% и 15,25%, IFR для «да/нет» составляет 79,3% и 3,6% соответственно: одной метрики распознавания недостаточно.
Ограничения. Один речевой кодировщик, одна инициализация каждого проектора и узкий жанр читаемой речи. Метки вопроса «да/нет» созданы автоматически и не проверены независимо; даже текстовый декодер на этой задаче близок к случайному уровню. Правила допустимого ответа для аудио и текста различаются, а BAcc считается только по отвеченным примерам, поэтому её необходимо читать вместе с IFR.
Фишка из статьи. Сравнение трёх путей локализует проблему: смысл доступен в полученном тексте, но плохо используется напрямую из речевых представлений.
| Путь к классификатору темы | Средняя BAcc, % | Что проверяет |
|---|---|---|
| Аудио → проектор → декодер | 23,2 | Непосредственное понимание аудиотокенов |
| Аудио → собственная расшифровка → декодер | 52,5 | Смысл, уже сохранённый распознавателем |
| Эталонная расшифровка → декодер | 71,5 | Текстовый ориентир качества |
Как это читать: каскад более чем удваивает BAcc относительно прямого аудиовхода. Это аргумент в пользу улучшения согласования речевого и текстового пространств, а не доказательство, что декодеру не хватает знаний о темах или что проектор вообще не передаёт содержание.
Источники. Страница arXiv; PDF статьи. Оригинальное название: Zero-Shot Spoken Language Understanding with SLAM-ASR: What Do Monolingual ASR-Trained Linear Projectors Enable?.