AudioSLM: уменьшение выдуманного текста при распознавании речи с помощью CTC и перекрёстного внимания

Языковой декодер распознавания может продолжать правдоподобный текст, почти перестав учитывать звук. AudioSLM усиливает акустическую опору в двух местах: даёт входным признакам временные подсказки CTC и возвращает внимание к аудио внутри блоков языковой модели. Интересный результат состоит в том, что увеличение декодера улучшает обычный WER, но не обязательно уменьшает выдуманное содержание.

Метод. Акустический тракт на основе Whisper-large-v2 и свёрточный соединитель формируют звуковые элементы последовательности. CTC-Gate использует словарные оценки CTC для покадрового управления признаками через свёртку и затвор. В языковых блоках между самовниманием и MLP добавляется перекрёстное внимание к аудио. Основной небольшой декодер SmolLM2 содержит 135 млн параметров; отдельно проверяются 360 млн и 1,7 млрд. Настройка проводится на LibriSpeech train-clean-100, 30 эпох, с лучом декодирования пять.

Результаты. На LibriSpeech test-clean/other вариант 135M даёт WER 7,11/11,92% против 10,82/13,93% у Vanilla-SLM. На dev-clean стандартная доля вставок уменьшается с 3,69 до 0,74%, но замены растут с 4,78 до 5,20%: это не одинаковое улучшение всех ошибок. Без перекрёстного внимания вставки возвращаются к 3,50%, без CTC-Gate достигают 1,52%. Авторы также сообщают снижение своей HER с 52,01 до 8,69.

Ограничения. Эксперименты ограничены английскими аудиокнигами и 100-часовой настройкой, без независимой проверки разговоров, других языков или длительной тишины. Размер 135M относится к языковой части, не ко всей системе. Нормировка HER недостаточно согласована в изложении со стандартным INS: её нельзя трактовать как процент всех запросов с галлюцинациями или напрямую сравнивать с чужими метриками. Анализ внимания и обнуление модулей диагностируют зависимость внутри выбранной архитектуры, но не доказывают универсальную причину всех речевых галлюцинаций.

Фишка из статьи. Масштабирование декодера даёт противоположные тенденции для обычного распознавания и заявленной HER. WER ниже лучше; HER приведена в авторской шкале на dev-clean.

Как это читать: более сильный языковой приоритет помогает среднему распознаванию, но может усиливать специфические неподтверждённые продолжения. Нужна отдельная диагностика вставок и выдуманных фрагментов; единственный WER не отвечает на вопрос об акустической достоверности. При повторении работы сначала стоит уточнить точную процедуру расчёта HER.

Источник. Оригинальное название: Probing and Mitigating Hallucinations in Speech-augmented Language Models for Automatic Speech Recognition via Small Language Models. arXiv:2610.25351; полный текст PDF.