EvoSpeakerMem: от голосовых отпечатков к памяти пользователей в многопользовательском речевом агенте

Персональная память голосового агента бесполезна, если после смены микрофона система заводит человеку новую личность или прикрепляет его слова к соседу. EvoSpeakerMem разносит два решения: можно ли отнести реплику к существующему пользователю и достаточно ли надёжна она для обновления его акустического центра. Для этого не требуется дообучать речевую языковую модель.

Метод. Маршрутизатор ECAPA сравнивает голосовой вектор с центрами пользователей. При косинусном сходстве не ниже 0,489 он связывает реплику с найденной сущностью, иначе создаёт новую. Более строгий порог 0,58 разрешает менять центр; текстовые факты поступают в соответствующую память LightMem. Запросы только читают память и не создают личности. Счётчик сущности растёт при каждой привязке, даже без обновления центра, поэтому рекурсия не является простым средним только принятых для обновления векторов.

Результаты. На 4113 синтетических персональных запросах из трёх озвучиваний LoCoMo точность ответа с фиксированным центром 71,41% в чистых условиях и 60,15% при искусственной смене условий записи. Строгое обновление даёт 75,27 и 71,77%, без неверной идентификации запросов в этой конфигурации. В отдельном четырёхпользовательском тесте точность повышается с 67,83 до 73,60%. Наблюдение на реальных продольных голосовых данных мотивирует задачу: при фиксированном пороге доля отвергнутых настоящих пользователей вырастает с 29,8 до 55,6% примерно за год.

Ограничения. Основной диалоговый тест синтетический: голоса Qwen3-TTS предварительно отфильтрованы на различимость, акустические сдвиги моделируются. Нулевые ошибки запроса в варианте только ECAPA не являются гарантией безопасности: сочетание Parakeet и ECAPA сохраняет 32 ошибочные авторизации в четырёхпользовательском опыте. Ошибочная привязка истории может загрязнить память без последующего исправления. Порог объединения почти не исследован; много созданных сущностей тоже может скрывать нужные факты.

Фишка из статьи. Таблица 4 сопоставляет стратегии на одинаковых запросах со сдвигом условий записи. Ошибки относятся к идентификации текущего запроса, а не ко всей истории. KNN хранит все векторы, тогда как центр занимает постоянную память на пользователя.

Как это читать: больше акустических примеров и меньше отказов не обязательно означают более надёжную персонализацию. Строгий допуск к обновлению почти сохраняет полезность KNN, резко снижая смешение пользователей в данном тесте. Но голосовой маршрутизатор памяти не следует считать самостоятельным средством аутентификации для чувствительных действий.

Источник. Оригинальное название: From Voiceprints to User Entities: Online Speaker-Memory Construction for Multi-User Spoken Agents. arXiv:2610.36713; полный текст PDF.