Потоковое распознавание Спекулятивное декодирование Задержка
arXiv cs.LG

Decode Early, Verify Late: потоковые черновики для точного финального распознавания

ArXiv:2611.20064

Офлайн-распознаватель может выдавать промежуточные гипотезы ещё во время речи, не обязуясь навсегда закреплять их ранние ошибки. DEVL использует последнюю гипотезу как черновик, а после конца реплики проверяет её по полному звуку одним проходом и дописывает только неподтверждённый хвост. Это способ перенести вычисления до момента ожидания окончательного текста, а не новая обученная речевая модель.

Метод. Для Qwen3-ASR аудио разбивается на фиксированные блоки от начала потока, независимо от клиентских пакетов, и допустимые блоки кешируются. Контрольные точки копируют состояние, проверяют прежний черновик и продолжают его; окончательная проверка объединена с обработкой хвоста аудио. До первого несовпадения префикс совпадает с жадным декодированием; после отката продолжается обычная генерация. Если новые данные меняют нормализацию или признаки, кеш пересчитывается. Очередь отдаёт приоритет финалам, а черновики используют остаток GPU-времени. Для Whisper и Nemotron с кодировщиком полной записи звук в конце кодируется заново; у Nemotron состояние Mamba восстанавливают воспроизведением принятых входов. Гарантия равенства офлайн-выводу требует жадного выбора, детерминированного входа, совпадающих позиций и состояния и точной арифметики.

Черновик проверяется по полному звуку до первого несовпадения. Речь поступает блоками: Фиксированные границы от начала потока; допустимый кеш. До конца речи: контрольные точки: Новое: частичные тексты как заменяемые черновики. Commit: полный звук: Хвост аудио + полный офлайн-совместимый контекст. Одна проверка черновика: Новое: принять только точный greedy-префикс. Откат + дописывание хвоста: Новое: продолжить после первого несовпадения. Окончательная расшифровка: Приоритет финалов; без готового черновика обычный decode.
Схема по материалам статьи, рисунок 1, раздел 2, таблицы 1–2 и раздел 4.4. Схема для Qwen3-ASR; кодировщики полной записи требуют повторного кодирования. Пунктир: черновик для проверки, не зафиксированный префикс. Совпадение с greedy offline гарантируется только при перечисленных инвариантах и точной арифметике; длинные эпохи вне гарантии. Commit не включает ожидание детектора конца речи.

Результаты. В сравнении пяти распознавателей финальные строки совпадают побайтно с их собственным офлайн-режимом в 95–100% случаев, WER отличается не более чем на 0,13 процентного пункта. Для Qwen3-ASR-1.7B на одном A100 медиана времени от commit до финала составляет 22–26 мс при нагрузке до 64 потоков. Порог p99 100 мс выдерживается до 80 потоков Pipecat-STT и 64 WildASR. Это клиентский commit вместе с последним пакетом, а не автоматическое определение конца речи. При добавлении 300 или 600 мс тишины экономия относительно того же движка без черновиков остаётся, но само ожидание тишины никуда не исчезает.

Ограничения. Опыты английские; эталоны Pipecat-STT созданы Gemini, не человеком. Округление при пакетных вычислениях нарушает побитовое равенство; разбиение длинных реплик Qwen3-ASR на эпохи также исключено из теоретической гарантии. База без черновиков одновременно отключает эпохи, поэтому главное сравнение смешивает два эффекта; автор отдельно проверяет реплики до 10 с. На большой нагрузке черновики могут перестать окупаться, особенно у тяжёлых моделей. Частичные результаты и их задержка не оптимизированы столь же подробно, как финальные.

Фишка из статьи. В разделе 4.2 видна причина резкого ухудшения при насыщении. Наличие работающего декодирования недостаточно: черновик должен успеть завершиться до commit. Увеличение числа одновременно считающихся контрольных точек возвращает выигрыш, но это уже выбор планировщика.

Qwen3-ASR, нагрузка / политикаФиналы с готовым черновикомМедиана TTFS Pipecat, мс
64 потока, обычнаяНе менее 98%В диапазоне 22–26
128 потоков, обычная21–29% по двум наборам138,5
128 потоков, 16 контрольных точекНе менее 95%38,2
128 потоков, 32 контрольные точкиНе менее 95%32,6

Как это читать: это не фиксированное ускорение алгоритма при любой нагрузке. Польза определяется своевременностью черновика и ресурсами очереди; TTFS измеряет только хвост после commit, а не всю реакцию голосового агента.

Источник. Оригинальное название: Decode Early, Verify Late: Streaming Offline Speech Recognizers Without Accuracy Loss. arXiv:2611.20064; полный текст PDF.

Оригинальная статья на arXiv