Выделение целевого голоса: сначала исправить выбор говорящего, затем ограничить генерацию

Генеративное выделение голоса может звучать чисто, но воспроизводить чужие слова или чужого говорящего. Ограничение генерации результатом обычного разделителя не спасает, если разделитель уже выбрал не того человека. Авторы поэтому сначала выбирают согласованный с образцом голоса акустический результат, а затем используют его токены как опору для авторегрессионного декодирования.

Метод. CDCS-5 получает пять кандидатов от замороженных некаузальных BSRNN: четыре с глобальным представлением полного образца или его временных частей и один с более подробным частотно-временным условием. ECAPA-TDNN выбирает наиболее похожий на целевой образец результат. Его можно вернуть напрямую либо кодировать семантическим FSQ-токенизатором CosyVoice 3 с частотой 25 Гц. В генеративной ветке Qwen 2.5 0.5B с WavLM штрафует отклонения от этой последовательности в пространстве координат FSQ. Отдельного битрейта полного кодека статья не задаёт. Подбор кандидата и ограничение вывода не требуют нового обучения, но сам Qwen-TSE предварительно дообучается на задаче.

Результаты. На чистом тесте Libri2Mix доля выбора неправильного говорящего по SI-SDR снижается с 6,87 до 0,75%, на зашумлённом с 18,95 до 10,46%. При неизменных весах Qwen-TSE фиксированное ограничение уменьшает шумовой WER с 46,70 до 42,11%, переключение содержания с 12,79 до 9,10%, акустическое переключение личности с 1,68 до 0,51%. Однако прямой CDCS-5 даёт существенно меньший WER 30,67%, хотя его DNSMOS 2,980 ниже генеративных 3,498. Предсказанное качество и сохранение текста здесь не совпадают.

Ограничения. Проверены искусственные двухголосные смеси и определённые шумы, не многопользовательская запись помещения. Пять некаузальных проходов и авторегрессионный декодер имеют ненулевую цену; RTF и сквозная задержка не приведены. Качество оценивают DNSMOS и UTMOS, а не слушательский MOS. WER получен Whisper и может сам содержать вставки, но это не основание игнорировать его высокий уровень. SI-SDR-ошибки выбора и ошибки акустического переключения определены по-разному и не взаимозаменяемы.

Фишка из статьи. Таблица 2 показывает, что временные части образца поодиночке хуже полного образца, но полезны в разнообразном наборе кандидатов. Проценты ниже относятся к неправильному выбору по SI-SDR, а не к вероятности галлюцинации текста.

Как это читать: выигрыш нельзя объяснить просто заменой слабого разделителя сильным: даже сильнейший одиночный путь оставляет больше ошибок, чем совместный выбор. Но под шумом остаётся значительный остаток. На уверенно правильных исходных случаях CDCS создаёт лишь 0,04% новых ошибок без шума и 0,17% с шумом; это отдельный контроль безопасности выбора, не оценка всей популяции.

Источник. Оригинальное название: Speaker-Consistent Grounding for Confusion-Resilient LLM-Based Target Speech Extraction. arXiv:2611.06297; полный текст PDF.