MG-REPA: ускорение обучения выделению диктора через покадровое и глобальное согласование признаков
MG-REPA помогает одношаговому генеративному выделителю быстрее научиться одновременно сохранять слова и голос. Один учитель задаёт меняющееся во времени речевое содержание, другой глобальное представление диктора. Важен не просто второй критерий: временная нормализация убирает из покадровой цели часть постоянных статистик, чтобы два вида надзора меньше дублировали друг друга.
Метод. В промежуточный девятый блок uDiT модели MeanFlow-TSE подключаются два небольших адаптера. Первый согласует последовательность с последним слоем замороженного WavLM Large после нормировки каждого канала по времени. Второй усредняет адаптированные состояния и сопоставляет их с CAM++-представлением чистой целевой речи. Учителя и адаптеры нужны только при обучении, на выводе удаляются. Проверяются Libri2Mix train-100 и train-360, трёхсекундная смесь и трёхсекундный образец.
Результаты. На чистом тесте после 750 эпох PESQ равен 3,29 и SI-SDR 18,88 дБ против 3,26 и 18,80 дБ у опубликованного контроля после 2000 эпох. На шумном тесте PESQ почти совпадает, 2,22 против 2,21, но SI-SDR хуже, 12,38 против 12,85 дБ. В отдельном одинаковом 750-эпоховом прогоне уровень итогового OVRL контроля достигается на 250-й эпохе, PESQ на 350-й: это ускорение по эпохам в 3,0 и 2,1 раза.
Ограничения. Меньшее число эпох не равнозначно такому же сокращению GPU-часов: учителя увеличивают работу обучающего шага. Применение показано на одном генеративном каркасе; перенос на другие пока заявлен как дальнейшая работа. Нет человеческого прослушивания и полноценного исследования других языков, длинных разговоров и комнатной реверберации. Нормировка подавляет глобальные статистики, но сама по себе не доказывает полного разделения содержания и личности.
Фишка из статьи. В таблице 2 все варианты обучены 150 эпох на одинаковом шумном наборе. Разнесение учителей по масштабу даёт небольшой, но последовательный эффект поверх их совместного использования.
| Способ согласования WavLM и CAM++ | PESQ | SI-SDR, дБ | UTMOS |
|---|---|---|---|
| Оба покадрово | 1,97 | 11,51 | 3,28 |
| Оба глобально | 1,91 | 11,09 | 3,22 |
| WavLM покадрово, CAM++ глобально | 1,97 | 11,55 | 3,29 |
| То же с временной нормализацией | 1,99 | 11,60 | 3,32 |
Как это читать: добавление одного и того же учителя в неподходящем масштабе не гарантирует пользы. Здесь особенно страдает глобальное усреднение WavLM: оно убирает нужную временную структуру. Полный результат не сводится к сохранению тембра ценой слов, поскольку фонемное сходство LPS остаётся 0,86 у лучших вариантов; однако малые разности требуют проверки разброса обучения.
Источник. Оригинальное название: MG-REPA: Multi-Granularity Representation Alignment for Generative Target Speaker Extraction. arXiv:2610.32161; полный текст PDF.