Route-DMD: выбор функции потерь по задаче при дистилляции универсальной речевой модели
Одна функция дистилляции не одинаково подходит синтезу и разделению речи. Route-DMD показывает конкретный отказ: ошибочный разделённый сигнал ученика после добавления шума попадает туда, где учитель плохо оценивает направление исправления. Решение состоит не в усложнении учителя, а в переводе таких задач на обычную регрессию по правильной целевой записи.
Метод. Ученика AuK сначала инициализируют 500 обновлениями consistency distillation. Затем синтез и редактирование обучают Decoupled DMD с отдельной обучаемой оценкой распределения ученика, а разделение говорящих и вокала исключают из DMD и обучают по квадрату ошибки чистых латентных представлений. Для направляющих траекторий учителя вместо CFG используют APG: ослабляют параллельную компоненту направляющего смещения, сохраняя ортогональную. Это дистилляция существующего генератора в аудиолатентах, не новый квантованный кодек с измеренным битрейтом.
Результаты. Четырёхшаговый ученик без CFG имеет сквозной RTF 0,0958 против 0,4333 у 32-шагового AuK на английской части SeedTTS-Eval, один NVIDIA H20: ускорение примерно 4,5 раза. Естественность N-MOS составляет 4,34 ± 0,10 против 4,23 ± 0,10, соблюдение инструкции 4,57 ± 0,09 против 4,50 ± 0,09; интервалы перекрываются. Средний WER синтеза немного хуже, 2,85 против 2,65%. На Libri2Mix WER также растёт с 9,12 до 10,07%, хотя предсказанные оценки качества DNSMOS и UTMOS улучшаются. Сохранение набора задач не означает улучшения каждого показателя.
Ограничения. Проверен один учитель AuK на его же обучающих данных; перенос рецепта на другие архитектуры и сложные смеси не установлен. Регрессия требует парного правильного результата и предположения достаточно однозначной цели. Ускорение измерено для синтеза, не отдельно для каждого вида обработки, и не задаёт потоковую задержку. DNSMOS и UTMOS являются моделями оценки, не субъективным прослушиванием разделённой речи. В кратком описании субъективного опыта недостаточно подробностей о числе слушателей; независимые интервалы не доказывают статистического превосходства.
Фишка из статьи. Рисунок 2 локализует отказ DMD: учителю подают либо зашумлённый выход ученика, либо зашумлённую правильную цель. Числа ниже описывают поведение во время обучения на Libri2Mix, не заменяют основную итоговую таблицу WER.
| Способ обучения разделения | SI-SDRi, dB | PER, % |
|---|---|---|
| Обычный DMD, без маршрутизации | с +6,6 до −1,7 | с 7,1 до 54,4 |
| DMD, учитель видит зашумлённую правильную цель | +5,1…+5,4 | 7,0…8,4 |
| Прямая регрессия, Route-DMD | около +6,7 | около 8,8 |
Как это читать: контроль с правильной целью предотвращает разрушение разделения, хотя DMD формально сохранён. Значит, проблема связана с входом оценщика учителя, а не просто с недостатком шагов ученика. При этом маршрутизация не выигрывает по каждому столбцу: её PER не минимален. Ценность опыта в объяснении устойчивости обучения и компромиссов, а не в утверждении единого победителя по всем метрикам.
Источник. Оригинальное название: Route-DMD: Distribution Matching Distillation with Task-Routed Mechanism for Speech Foundation Models. arXiv:2611.08011; полный текст PDF.