PromptSep-Speaker: генеративное выделение речи целевого диктора по разным видам подсказок

Нужного участника разговора можно указать голосовым образцом, его репликой, описанием голоса или порядком вступления. PromptSep-Speaker объединяет эти способы в одной генеративной системе выделения речи. Ключевой приём состоит не только в добавлении подсказки, но и в обучении её временному соответствию акустической смеси.

Метод. Модель примерно на 0,8 млрд параметров использует DiT в пространстве замороженного DAC-VAE с частотой 48 кГц. WavLM извлекает признаки смеси, Qwen3-VL-8B кодирует текстовые условия. Для расшифровки и номера диктора два слоя перекрёстного внимания связывают акустические кадры с элементами подсказки; дополнительный пустой элемент позволяет не назначать цель каждому кадру. Вспомогательная потеря использует активность целевой речи или выравнивание слов. При синтезе выполняются 24 шага DPM-Solver++; обучение строится на искусственных смесях двух и трёх голосов с шумом и реверберацией.

Результаты. На независимом внутреннем наборе с полной расшифровкой SI-SDRi достигает 12,47 дБ против 1,21 у DAE-TSE; расстояние mel-L2 уменьшается с 41,90 до 1,88. Слушатели оценивают соответствие диктору в 4,39 против 3,28, качество речи в 4,16 против 3,55 по пятибалльной шкале. Но на Libri2Mix SI-SDRi ниже у новой модели: 6,15 против 11,13 дБ. При выборе по номеру диктора переход от двух голосов к трём снижает средний SI-SDRi с 10,10 до 4,72 дБ: масштабирование числа участников остаётся трудным.

Ограничения. Значительная часть обучающих данных лицензирована и не является общедоступным воспроизводимым корпусом. Выигрыш зависит от набора и подсказки; сравниваемые системы не всегда обучены для такого же вида условий. В частности, общие разделители по описанию не специализировались на речевых описаниях. Нет измеренной потоковой задержки, а 24 шага и крупные кодировщики не позволяют считать метод готовым малоресурсным решением.

Фишка из статьи. Абляция в таблице 2 показывает опасную особенность генеративного выделения: речь может звучать приемлемо, но принадлежать не тому источнику. Ниже средние по CapSpeech-Mix, LibriTTS-R-Mix и внутреннему набору при подсказке-расшифровке.

Как это читать: почти неизменный DNSMOS 2,85→2,79 скрывает провал соответствия целевому сигналу более чем на 30 дБ. Поэтому одного предсказателя естественности недостаточно: нужны проверки личности, содержания и правильных временных участков. В оригинале последний столбец назван F1 Decision Error, но явно помечен как метрика, у которой большее значение лучше.

Источник. Оригинальное название: PromptSep-Speaker: Generative Target Speaker Extraction via Multimodal Prompting and Semantic Alignment. arXiv:2610.23066; полный текст PDF.