Устойчивые дорожки участников полнодуплексного диалога: привязка к голосам до восстановления речи
При восстановлении двухстороннего разговора мало получить две чистые дорожки: одна и та же дорожка должна всё время принадлежать одному участнику. Авторы вводят небольшой маршрутизатор, который сопоставляет грубые скрытые потоки с заранее записанными голосовыми образцами до диффузионного восстановления. Это исправляет принадлежность речи, не требуя переобучать сам генератор.
Метод. Маршрутизатор из временных свёрток, взвешенного объединения и проекции имеет 1,84 млн обучаемых параметров. Он обучается на чистых и ухудшенных скрытых представлениях с сопоставлением голосовых образцов и учётом активности. Неуверенное решение наследует прежнюю перестановку, чтобы молчание собеседника не сбрасывало порядок. Необязательная проверка запускает голосовой кодировщик только при малом запасе уверенности, без повторной диффузии.
Результаты. На длинных разговорах CANDOR доля времени с перепутанными дорожками WT снижается с 43,86 до 4,08%; распознавание личности по уже восстановленной волне даёт 6,20%. При фрагментах 120 с WT составляет 1,89%. На проверке времени исполнения RTF растёт с 0,0193 до 0,0198. На новых корпусах Seamless и SpokenWOZ выборочная проверка обрабатывает 20,0 и 36,1% фрагментов, достигая WT 1,74 и 0,87%.
Ограничения. Нужны голосовые образцы участников и архитектура восстановления с доступными грубыми скрытыми потоками. Основная задача ограничена двумя участниками. WT рассчитывается на наблюдаемых фрагментах с достаточным различием вариантов сопоставления, поэтому не является безусловной точностью на каждом моменте записи. Для телефонного корпуса полная проверка всех фрагментов всё ещё точнее выборочной.
Фишка из статьи. Таблица 1b разделяет акустическое качество и правильность владельца дорожки на CANDOR при фрагментах 30 с.
| Метрика | Без маршрутизации | С маршрутизацией |
|---|---|---|
| F1 активности, лучшая перестановка каждого фрагмента | 0,849 | 0,851 |
| F1 активности, фиксированный порядок участников | 0,464 | 0,839 |
| Сходство голосов, лучшая перестановка | 0,435 | 0,438 |
| Сходство голосов, фиксированный порядок | 0,268 | 0,427 |
Как это читать: свободная перестановка почти полностью скрывает исходную проблему: качество каждого отдельного фрагмента практически не меняется. Существенный выигрыш появляется только при сохранении личности участника во времени. Для разговорных систем оценка с независимым переставлением дорожек каждого блока поэтому недостаточна.
Источник. Оригинальное название: Beyond Two Tracks: Speaker-Anchored Full-Duplex Dialogue Recovery. arXiv:2610.27109; полный текст PDF.