Конец реплики Диалоговые модели Вычислительные затраты
arXiv eess.AS

JEV-VAD: определение конца реплики с коротким декодером и скалярным выходом

ArXiv:2611.15362

Определять конец реплики через генерацию слов из большого словаря избыточно, если приложению нужна одна вероятность. JEV-VAD превращает Qwen3-ASR в такой оценщик и проверяет, сколько слоёв декодера действительно необходимо. Работа интересна аккуратным разделением трёх вещей: числа параметров, расчётных операций и качества политики ожидания.

Метод. Входом служат уже услышанные 2,56 секунды речи с обновлением каждые 320 мс. Замороженный акустический кодировщик выдаёт 33 токена; вопрос и критерии завершения стоят перед ними, чтобы причинное внимание аудиотокенов видело инструкцию. Вместо словарной проекции используется скалярная голова из 1 025 параметров. Обучают LoRA и эту голову, всего около 4,59 млн параметров, в стадиях SFT и RLCD. При сокращении декодера голову заново подгоняют для каждой глубины, включая полный вариант: это не перенос неизменной головы с последнего слоя на ранний.

Один скаляр вместо генерации ответа из большого словаря. Вопрос + критерии: Стоят перед аудиотокенами. Уже услышанные 2,56 с: 16 кГц; обновление каждые 320 мс. 33 аудиотокена: Замороженный акустический кодировщик. Первые 7 или 28 блоков: Новое: сопоставимая подгонка головы на каждой глубине. Скалярная голова: Новое: 1 025 параметров, вероятность конца реплики. Политика ожидания: Порог и ожидание выбирают по языку и риску обрыва.
Схема по материалам статьи, разделы 3, 6–7 и таблицы 4–5. Для каждой глубины голову переобучают. 320 мс является шагом обновления; расчёт GFLOPs не включает кодировщик и не равен измеренной задержке.

Результаты. Полная модель на 14 языках получает AUC 91,1 и AP 84,2. При выбранной политике доля преждевременных отсечений с бюджетом ожидания 300 мс составляет 19,09%, а ожидание при бюджете 5% отсечений 775,9 мс. LiveKit TD v1 в том же сравнении лучше: 13,99% и 624,5 мс. Сокращение с 28 до 7 блоков уменьшает число развёрнутых параметров с 787,01 до 453,22 млн и расчёт декодерных матричных операций вчетверо, но немного меняет компромисс ошибок и ожидания.

Ограничения. Исследование глубины выполнено для английского и китайского, тогда как 14-языковое сравнение относится к полной модели. Нет отдельного контроля только SFT, позволяющего изолировать вклад RLCD. Операционный подсчёт исключает кодировщик и ряд других вычислений; фактическое ускорение по часам не измерено. Задержки политики не включают время вывода сети. Окно охватывает только прошлое, но внимание внутри уже полученного окна двунаправленное.

Фишка из статьи. Таблицы 4 и 5 показывают цену раннего выхода. Ниже приведён сопоставимый эксперимент с заново обученными головами; английские отсечения и ожидание относятся к разным рабочим точкам политики, а не к одной одновременно достижимой паре.

ГлубинаВсе параметры, млнДекодер, GFLOPsEN: cut@300ms, %EN: lat@5%cut, мс
7 блоков453,2216,54819,42958
28 блоков787,0166,19117,46869

Как это читать: удаление 75% декодерных операций не означает отсутствие потерь: в английском режиме короткая сеть чаще обрывает реплику и дольше ждёт при фиксированном риске обрыва. При этом полная система уменьшается только на 42,41% параметров, поскольку акустическая часть остаётся. Эти числа помогают выбрать глубину под язык и допустимый риск, но не обещают четырёхкратное ускорение приложения.

Источник. Оригинальное название: JEV-VAD: Efficient Semantic Endpointing via Task-First Conditioning and Decoder-Prefix Pruning. arXiv:2611.15362; полный текст PDF.

Оригинальная статья на arXiv