LibriSpeech-Real-QA: ответы по событиям до окончания звучащей речи

LibriSpeech-Real-QA проверяет не разговор по очереди, а реакцию на событие внутри ещё продолжающейся речи. Модель должна услышать заданное слово или представителя смыслового класса и сразу выдать его либо обновлённый счётчик. Такая постановка отделяет понимание содержания от привычки ждать конца пользовательской реплики.

Метод. Четыре задачи сочетают буквальный или смысловой поиск с обнаружением либо подсчётом. Слова выровнены MFA, смысловые метки получены языковой моделью; всего предусмотрено 20 меток с учётом Null. Обучающие и тестовые записи следуют исходным разделениям LibriSpeech. В базовой Qwen 2.5 Omni 7B заморожен акустический кодировщик, отключена звуковая генерация, а LoRA учит выдавать текст события либо специальный токен молчания после каждого блока. Потери действий и окончаний ответа балансируются, чтобы преобладание молчаливых блоков не приводило к постоянному молчанию.

Результаты. Для блоков 400 мс с допуском одного дополнительного блока потоковая система получает F1 0,988/0,968 при поиске заданного слова и 0,824/0,694 при смысловом обнаружении на test-clean/test-other. При буквальном подсчёте лучший из показанных размеров блока — 280 мс, а не 400. Коммерческие API в опытах часто отвечают лишь около конца записи, но их политика ответа и условия сервиса различаются; это не контролируемый рейтинг скорости поставщиков. Офлайн-вариант выводит список временных меток после всей записи и не является причинной системой с малой фактической задержкой.

Ограничения. Это английская читаемая речь с автоматически созданными заданиями, не свободный диалог. Повторные события должны быть разнесены более чем на секунду, поэтому плотные последовательности не проверены. Применяется мягкое текстовое сопоставление; оно может засчитать целевой фрагмент внутри более длинного ответа. У API в таблицах нет того же явного окна допуска, что у потокового эталона. Для обученной модели время выдачи присваивается границе блока и не включает измеренную длительность вычисления или синтез ответа, который вообще отключён.

Фишка из статьи. Размер блока влияет на задачи неодинаково. Ниже результаты test-clean при допуске +1 блок; задержка измерена от начала слова, а не от его конца, и усредняется только по успешным событиям.

Как это читать: уменьшение блока почти не меняет поиск известного слова, но заметно ухудшает смысловую классификацию. Допуск тоже сокращается вместе с блоком, поэтому меняются и входной контекст, и строгость временного критерия. Отдельная абляция показывает, что примеры без целевого события нужны всем четырём задачам: одно лишь обучение активным ответам повышает ложные срабатывания. Эти детали важнее утверждения, что любая модель с потоковым API уже умеет реагировать внутри фразы.

Источник. Оригинальное название: LibriSpeech-Real-QA: A Benchmark for Streaming Question Answering. arXiv:2611.06496; полный текст PDF.