PW-Pruning: отбор экспертов речевых мультимодальных моделей с учётом этапа обработки
PW-Pruning сохраняет разные потребности модели при прослушивании входа и при формировании текстового ответа. Авторы показывают, что объединённая статистика этих этапов может удалить экспертов, важных именно для аудио. Здесь phase означает этап вычисления, а не фазу акустического сигнала; метод не относится к фазочувствительному улучшению речи.
Метод. Для акустического входа и токенов ответа строятся отдельные взвешенные ядра важности и разнообразия экспертов. Жадный отбор максимизирует сумму логарифмов определителей с равными весами двух этапов. На выходе остаётся один статический набор, без переключения масок во время вывода. В Qwen3-Omni проверяются 64 и 32 оставленных эксперта из 128 на слой при сохранении top-8-маршрутизации; сравнение с объединённым отбором уравнивает калибровку и восстановительное обучение.
Результаты. При 32 экспертах после одинакового SFT точность MMAU-mini растёт с 63,03 до 66,23%, MMSU — с 53,38 до 57,76%. Но Common Voice CER ухудшается с 13,45 до 14,25%, OpenCpop CER — с 4,39 до 5,05%. Четырёхкратное сокращение банка на H20, batch 1, снижает пиковую память на 65,6% и RTF с 1,034 до 0,423; эти выигрыши обусловлены удалением экспертов, а не отдельным ускоряющим свойством PW.
Ограничения. Сжатая модель не сохраняет все способности исходной: ухудшения распознавания остаются существенными. Часть переносных экспериментов использует непубличную Qwen3.5-Omni, а Nemotron проверен только на английских подмножествах. Фиксированные веса этапов и одинаковые бюджеты слоёв не адаптируются к изменению нагрузки.
Фишка из статьи. Отбор не увеличивает покрытие обоих этапов одновременно: он перераспределяет дефицитную ёмкость. Раздел 3.2 приводит долю сохранённой маршрутизационной массы при одном бюджете E32.
| Отбор | Покрытие аудиовхода, % | Покрытие ответа, % | Разрыв, п.п. |
|---|---|---|---|
| Объединённая статистика | 26,03 | 45,37 | 19,34 |
| PW-Pruning | 34,03 | 41,63 | 7,60 |
Как это читать: лучшее понимание аудио покупается частичным переносом ресурса с ответа на прослушивание, а не бесплатным ростом всех показателей. Контроль с перемешанными метками этапов уступает настоящему разбиению: важны смысловые стадии вычисления, не просто наличие двух ядер. Для внедрения нужно выбирать бюджет по нескольким задачам, включая те, где ошибка выросла.
Источник. Оригинальное название: PW-Pruning: Phase-Aware Expert Selection for Speech-Centric Omni-Modal Models. arXiv:2610.26891; полный текст PDF.