Разделение источников Текстовое управление Улучшение речи
arXiv cs.SD

Textraction: выделение говорящих и улучшение речи по текстовым командам с одним или двумя микрофонами

ArXiv:2611.12493

Textraction объединяет выделение голоса, удаление помех и выбор пространственного источника по свободной текстовой команде. Один тракт работает как с одним, так и с двумя микрофонами. Полезная особенность работы — явная проверка того, понимает ли текстовый кодировщик разницу между «оставить» и «удалить», а не только совпадение названий источников.

Метод. Одно- и двухканальный входы имеют отдельные начальные блоки, после которых идут пять общих TF-Locoformer. Представление комплексного STFT хранит действительную и мнимую части; текст через перекрёстное внимание поступает на нескольких глубинах. Кодировщик E5 сначала обучается на тройках «команда — перефразировка — противоположная команда», затем совместно с акустической сетью. Одна и та же смесь предъявляется с взаимодополнительными запросами и разными целями, чтобы модель не могла игнорировать текст.

Результаты. При выделении по атрибутам получены SI-SDR 11,11 дБ с двумя микрофонами и 10,83 дБ с одним; WER односпикерных целей равна 33,3% и 34,4%. Для обычного улучшения речи SI-SDR достигает 18,66 и 18,15 дБ, WER — 8,2% и 9,7%. Пространственный выбор даёт 10,53 дБ и WER 29,2%. Малое различие каналов по атрибутам ожидаемо: пол и относительная громкость часто различимы без пространственной информации.

Ограничения. Проверка основана на синтетических реверберирующих смесях с двумя говорящими и двумя шумами, частота — 8 кГц. Свободный язык расширяется перефразировками, но семантика задач всё ещё ограничена. DNSMOS неверно штрафует шум, который команда специально просит оставить, поэтому не подходит как универсальная метрика всех выходов. Сравниваемые готовые разделители имеют иной обучающий домен; это не чистый контроль одинаковых данных.

Фишка из статьи. В таблице II исходный E5 считает противоположную инструкцию даже ближе, чем её правильную перефразировку. Контрастивное обучение меняет именно эту геометрию, а не только размер текстовой модели.

E5Сходство с перефразировкойСходство с противоположной командой
До адаптации0,95650,9889
После обучения на тройках0,9911−0,5405

Как это читать: поисковый кодировщик хорошо узнаёт тему, но может почти не учитывать полярность действия. Для управляющего сигнала это опасно: «удалить двигатель» и «оставить двигатель» требуют разных целей при почти одинаковых словах. Таблица показывает исправление представления команд; устойчивость реального выделения к новым формулировкам нужно дополнительно проверять на звуке.

Источник. Оригинальное название: Textraction: Unified Text-Guided Speaker Extraction and Enhancement for Single- and Multi-Channel Audio. arXiv:2611.12493; полный текст PDF.

Оригинальная статья на arXiv