Диагностика деградации долгих речевых диалогов и её уменьшение через самодистилляцию и сжатие контекста
Долгий речевой разговор может разрушаться не только по смыслу: модель перестаёт отвечать, теряет голос или произносит не то, что содержит её текстовый поток. Работа сочетает самодистилляцию коротких устойчивых бесед с памятью двух разрешений. Недавние десять секунд сохраняются подробно, более ранние участки сворачиваются в редкие обучаемые KV-представления.
Метод. Учитель, совпадающий с исходной моделью, начинает каждый короткий сегмент заново с текстовой сводкой предыдущего разговора. Ученик непрерывно проходит склеенную десятиминутную траекторию без доступа к этой привилегированной сводке. Отдельно согласуются содержательные токены, управление речью и скрытые состояния для замороженного аудиодекодера. TRC добавляет примерно один gist-токен на секунду, оставляя полное недавнее окно и накопленные старые gists. Обучаются LoRA внимания и представление gist-токена. Для каждого каркаса строятся 400 траекторий; оценка использует замкнутого синтетического собеседника.
Результаты. На PersonaPlex в конце 18–20 минут LoRA без TRC имеет WER 98,3% и сходство голоса 0,158, TRC 12,8% и 0,579. На Raon-SpeechChat остаются существенные ошибки даже с TRC, WER 44,3%, хотя без сжатия 99,6%. У MiniCPM-o сохраняется содержание ответов, но 76,7% сеансов к этому времени уже завершены по тайм-аутам. Рост KV-кэша без начального запроса снижается на 91,7–95,8%; это скорость накопления, не одинаковое сокращение полной занятой памяти.
Ограничения. Диалог идёт в логическом времени аудио, поэтому FTO не включает вычислительную задержку устройства. WER измеряет соответствие собственной текстовой и звуковой генерации, не правильность распознавания пользовательской речи. Поздние оценки содержания исключают завершённые сеансы и могут отражать выжившее меньшинство; авторы отдельно показывают их долю. Контекстная сводка учителя и качество её отбора могут ограничивать перенос. Удержание фактов ухудшается относительно сильной исходной краткосрочной памяти, а не остаётся полностью бесплатным.
Фишка из статьи. Таблица 2 показывает разные аппаратные последствия сжатия для ограниченного и растущего кэша. Задержка относится только к основной модели на L40, без речевых кодировщика и декодера.
| Каркас | Рост KV: исходный / TRC, МиБ в минуту | Время исходной модели к 20 мин, мс | Время TRC к 20 мин, мс |
|---|---|---|---|
| PersonaPlex | 375,00 / 31,25 | 26,9 | 37,0 |
| MiniCPM-o 4.5 | 109,69 / 8,44 | 231,0 | 127,4 |
| Raon-SpeechChat | 210,94 / 8,79 | 104,9 | 33,8 |
Как это читать: PersonaPlex уже ограничивает исходный кэш кольцом на четыре минуты, поэтому TRC там медленнее во всех точках; исходный рост указан до насыщения. У остальных уменьшение истории постепенно перекрывает цену вычисления gists. Нельзя одновременно обещать всем каркасам и лучшую память, и меньшую задержку: результат зависит от исходной политики кэша и приемлемой потери старых подробностей.
Источник. Оригинальное название: Diagnosing and Mitigating Long-Session Degradation in Full-Duplex Speech Models. arXiv:2610.34991; полный текст PDF.