CoSTA: адаптация речевых диалоговых моделей к сжатым токенам без замены декодера

CoSTA сокращает число авторегрессионных шагов речевой диалоговой модели, сохраняя исходный токенизатор и звуковой декодер. Частые последовательности речевых токенов объединяются BPE в более крупные единицы, а перед синтезом детерминированно разворачиваются обратно. Поэтому ускоряется генерация последовательности, а качество акустического декодера не приходится заново восстанавливать после его замены.

Метод. В Step-Audio 2 mini на 8 млрд параметров добавляют 80 тыс. единиц словаря; их входные и выходные векторы инициализируют средними исходных компонентов. Затем идут адаптация произношения и адаптация диалога, сначала с обучением только новых словарных слоёв, затем более широким дообучением. Речевой кодировщик и декодер остаются замороженными. Использованы по 300 часов английской и китайской речи и примерно по 50 тыс. синтезированных диалоговых примеров на язык.

Результаты. Средняя длина генерируемой речевой последовательности уменьшается до 66,81% исходной на китайском и 70,17% на английском; скорость в пересчёте на развёрнутые токены повышается в 1,736 и 1,659 раза. На A100 80GB при одном запросе полная задержка ответа уменьшается с 10,73 до 7,14 с и с 12,50 до 9,25 с соответственно. При этом средние CER/WER снижаются с 7,49% до 1,51% и с 6,49% до 2,50%; UTMOS остаётся сопоставимым.

Ограничения. Адаптация требует отдельного обучения и расширяет параметры примерно на 6%. Данные диалога и голоса синтетические, проверены главным образом английский и китайский и общие задачи диалога. Потери качества при свободной генерации не исключаются одной лишь обратимостью BPE: обратимо представление уже выбранных токенов, а адаптированная модель может выбирать другую последовательность. Эмоциональные стили и шумные условия изучены недостаточно.

Фишка из статьи. Ускорение авторегрессии почти в 1,7 раза слабо меняет время первого пакета, потому что неизменённый речевой декодер занимает около 330–340 мс.

Как это читать: метод заметно увеличивает пропускную способность и сокращает длинные ответы, но первый звук приходит лишь примерно на 50 мс раньше. Следующая оптимизация такого конвейера должна учитывать акустический декодер, а не только число шагов языковой модели.

Источники. Страница arXiv; PDF статьи. Оригинальное название: CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models.