Почему полнодуплексные речевые модели деградируют в длинных разговорах
Полнодуплексная модель заполняет контекст даже во время слушания: речевые кадры продолжают поступать, хотя новых слов нет. FD-LHB показывает, что короткие диалоговые тесты скрывают повторы, длительное молчание и бессвязную речь через несколько минут. Для Moshi и PersonaPlex авторы связывают часть отказов с удалением первой записи кэша, а повторы с подкреплением собственных недавних слов.
Метод. Проверяются пять моделей в 40 воспроизведениях CANDOR длительностью до часа и 40 адаптивных разговорах с речевым LLM-партнёром до 20 минут. IAP сохраняет первую KV-запись в каждом слое и меняет только её позиционный индекс при движении окна. DRP штрафует недавно использованные текстовые токены, но сохраняет суммарную вероятность лексических токенов: обычный штраф иначе относительно усиливает PAD и провоцирует молчание. Дополнительная защита постепенно ослабляет PAD после долгой тишины, только когда пользователь тоже молчит. Переобучение не требуется.
Результаты. В часовых воспроизведениях доли запусков с повтором, долгим молчанием и бессвязной речью у Moshi меняются с 65/100/100% до 0/7,5/0%, у PersonaPlex с 90/85/100% до 2,5/47,5/0%. Последние 47,5% важны: исправление не устраняет все отказы. На RTX A6000 RTF PersonaPlex растёт с 0,596 до 0,753, оставаясь ниже единицы. Вариант в стиле StreamingLLM также убирает бессвязную речь, но достигает RTF 1,032 и уже не успевает за потоком.
Ограничения. Причинная диагностика и исправления относятся к двум моделям со скользящим окном, не объясняют деградацию каркасов с растущим контекстом. Воспроизведение записей не является живой беседой, а адаптивный партнёр синтетический. LLM-судья иногда пропускает бессвязную речь; отсутствие порогового отказа не равно хорошему содержанию. Человеческая оценка ранних ответов предпочитает IAP без DRP: подавление повторов может мешать естественному повторному употреблению слов. Конечный часовой горизонт не доказывает неограниченную устойчивость.
Фишка из статьи. В 20-минутной абляции PersonaPlex все варианты уже сохраняют начальную KV-запись. Таблица 13 показывает, почему стандартный текстовый штраф нельзя без изменений переносить в полнодуплексный вывод.
| Защита от повторов поверх IAP | Запуски с повторами / 40 | С долгим молчанием / 40 | Слов в минуту за весь сеанс |
|---|---|---|---|
| Нет | 34 | 4 | 158,7 |
| Обычный штраф | 5 | 21 | 126,9 |
| Штраф с сохранением лексической массы | 2 | 13 | 69,3 |
| Полный DRP с защитой от PAD | 0 | 5 | 76,8 |
Как это читать: уменьшение повторов с 34 до 5 запусков выглядит успехом, пока не замечено увеличение молчания с 4 до 21. Перераспределять вероятность нужно между словами, а не в пользу слушания. Слов в минуту здесь считается по полной длительности сеанса с тишиной, а не по активной речи; высокое значение первой строки вызвано в том числе петлями повторов.
Источник. Оригинальное название: Why Full-Duplex Speech Models Collapse in Long Conversations. arXiv:2610.32349; полный текст PDF.