Синтез диалогов Короткие отклики Временная структура
arXiv cs.SD

Нейросетевое размещение коротких откликов и реплик в заранее записанном диалоге

ArXiv:2611.24086

Даже хорошо озвученный сценарий звучит механически, если реплики просто склеены с одинаковыми паузами. Здесь нейросеть выбирает моменты начала готовых реплик и коротких откликов вроде «угу», сохраняя их содержание. Это инструмент монтажа диалога, а не причинный собеседник: он видит будущий текст и перебирает варианты расписания.

Метод. Первый модуль по RoBERTa и замороженному HuBERT определяет, допускает ли реплика подтверждающий или эмоциональный отклик. Разметка получена полуавтоматически из Seamless Interaction и укрупнена до трёх классов. Второй модуль, Neural Scheduler на GLM-4-Voice, переводит готовые записи двух участников в токены Whisper-VQ с частотой 12,5 Гц. На входе длительность межрепликовых пауз удалена; на выходе чередуются синхронные кадры двух каналов, включая тишину. Помимо предсказания следующего токена модель учит оставшуюся длительность паузы. При применении она служит функцией оценки, а не генератором содержания: три жадных прохода размещают основные реплики, отклики и локально поправляют время после вставки.

Поиск расписания меняет паузы и наложение, сохраняя готовую речь. Готовые реплики A и B: Отдельные записи и текст, включая будущий. Нужен короткий отклик?: Новое: HuBERT + RoBERTa, три класса. Выбор из набора откликов: Подтверждающие и эмоциональные записи. Whisper-VQ, 12,5 Гц: На входе удалена длительность межрепликовых пауз. Поиск по оценке GLM-4-Voice: Новое: реплики → отклики → локальная поправка. Двухканальное расписание: Моменты начала, тишина и перекрытия → монтаж.
Схема по материалам статьи, рисунок 2, разделы 4–6 и рисунки 5, 7. Это офлайн-монтаж с будущим контекстом, не потоковый диалог. Отклики берутся из заданного набора; содержимое основных реплик не генерируется планировщиком. Whisper-VQ имеет 12,5 кадра/с; выход чередует кадры каналов A и B. Три прохода объединены в блок; детали поиска и длительностная обучающая цель опущены. Новое обозначено словом и цветом.

Результаты. На отложенных данных бинарное обнаружение отклика даёт F1 0,51, precision 0,53, recall 0,49 и AUC около 0,80. Без аудио F1 падает до 0,34, без будущего текста AUC до 0,69. Эмоциональные отклики труднее подтверждений: F1 около 0,23 против 0,44. В парном прослушивании 20 участников предпочитают вставленные отклики в 67,5% сравнений. Для драматических реплик предпочтение нового расписания составляет 64,3%, но для обычного синтезированного разговора лишь 53,0% — статистического преимущества нет.

Ограничения. Точный текст отклика не выводится из смысла автоматически: его берут из заданного набора или заранее синтезируют. Значительная часть обучающих меток получена автоматическим отбором и языковой моделью. Перебор расписаний и использование будущих реплик не позволяют перенести систему в потоковый агент без изменения постановки. RTF и сквозная задержка не приведены. Нулевая доля прерываний в одном сравнении обеспечена конструкцией вставок, а не доказывает преимущество перед свободно говорящим полнодуплексным агентом.

Фишка из статьи. Раздел 6.3 показывает, что субъективный выигрыш зависит от материала. Нельзя объединить три условия в одно обещание «диалог звучит естественнее»: для обычной беседы результат совместим со случайным выбором, тогда как выразительные актёрские записи дают различимый эффект.

Парное сравнениеПредпочтение, %95% интервалp
Вставка откликов67,560,7–73,6<0,001
Расписание: обычная беседа53,043,3–62,50,617
Расписание: драматические реплики64,352,6–74,50,022

Как это читать: у монтажа есть область полезности: при выразительных репликах управление перекрытиями и паузами заметнее. Узкое место обычного разговора может находиться в самих синтезированных записях, а не только в расписании. Механизм поиска при этом удобен для ручных ограничений: разрешить перекрытие, оставить паузу на обдумывание или ограничить частоту откликов.

Источник. Оригинальное название: Constructing Dynamic Conversations with Neural Back-channel Generation and Voice-line Scheduling. arXiv:2611.24086; полный текст PDF.

Оригинальная статья на arXiv