ReFrame: сокращение вычислений дуплексной речевой модели во время тишины и слушания

Дуплексная модель продолжает вычислять новые звуковые кадры, даже когда оба участника молчат. ReFrame использует регулярность таких состояний и возможность совместно обрабатывать уже пришедшие кадры во время слушания. Освободившееся GPU-время можно направить на внешний поиск, но экономия вычислений не означает отсутствия дополнительной задержки.

Метод. Mutual Silence Speculation предлагает блок молчания, проверяет текст и устойчивость скрытых состояний, затем корректирует часть звуковых кодов. Для Moshi это приближённая процедура: после коррекции первых кодовых книг весь временной контекст заново последовательно не проигрывается. Listening Frame Folding объединяет полученные пользовательские кадры, сохраняет проверенный префикс и пересчитывает ошибочный суффикс. Постоянная выходная очередь поддерживает частоту выдачи. При собственной речи агента сохраняется обычный плотный режим. Дополнительный планировщик исполняет внешние задачи небольшими возобновляемыми порциями.

Результаты. На всех 1225 разговорах FDBench измеренное CUDA-время уменьшается на 18,80–31,01% для пяти моделей. Для BayLing-Duplex и PersonaPlex совпали все полные траектории выходных токенов после выравнивания; для Moshi точной эквивалентности нет. У Moshiko совпадение непустых текстовых токенов — 96,92%, хотя по всем позициям с многочисленными паузами оно выше 99%. На 500 вопросах HaluEval использование освобождённого времени повышает число правильных озвученных ответов с 86 до 205 при том же бюджете вспомогательного сервиса.

Ограничения. Замеры на A100-40GB относятся к GPU-времени, не напрямую к энергопотреблению, пропускной способности сервиса или длительности разговора. Звуковая близость оценивается преимущественно относительно обычного вывода той же модели, не относительно человеческого эталона качества. Подавляющая доля молчания может завышать общее совпадение. Очередь добавляет задержку, а выигрыш внешнего поиска зависит от установленного окна приёма подсказок и конкретной инфраструктуры.

Фишка из статьи. Таблица 4 измеряет цену укрупнения блока LFF на Moshika. При периоде кадра 80 мс несколько добавочных кадров — заметное время для смены реплик.

Как это читать: перевод кадров в миллисекунды рассчитан здесь умножением на 80 и округлением. Переход с 4 на 6 кадров добавляет лишь 0,39 пункта экономии, но около 148 мс задержки. При восьми кадрах вычислительный выигрыш уже уменьшается. Это конкретный предел пакетирования, который не виден по одному максимальному проценту ускорения.

Источник. Оригинальное название: ReFrame: Silence-Aware Compute Reclamation for Full-Duplex Speech Models. arXiv:2611.01835; полный текст PDF.