Коллапс, восстановление и дрейф: динамика дообучения речевых языковых моделей
Авторы разбирают странный режим дообучения речевых языковых моделей: ошибка распознавания в начале резко растёт, затем иногда восстанавливается, а при слишком большом шаге остаётся высокой даже на фоне снижающейся функции потерь. Ценность статьи в динамической диагностике — переносе слоёв, геометрии градиентов и их спектре — вместо единственного сравнения конечных WER или CER.
Метод. Qwen3-ASR, MiMo-Audio и FireRed-LLM дообучают на 387 часах пяти китайских диалектов, замораживая речевой кодировщик и проектор и меняя только текстовый декодер. Для шагов обучения 10−5, 10−4 и 10−3 авторы отслеживают CER, двунаправленную подмену слоёв между контрольными точками, косинус между градиентами и эффективную размерность спектра сингулярных чисел сырого градиента.
Результаты. При 10−4 у моделей часто возникает ранний коллапс CER с последующим восстановлением, хотя MiMo-Audio может не восстановиться; при 10−3 все три системы устойчиво ломаются. У успешных запусков эффективная спектральная размерность градиента сходится примерно к 5, а у неуспешных остаётся концентрированной и нестабильной. Перенос обновлений AdamW от контрольного запуска между шагами 10 и 70 обходит ранний пик ошибки, но поздний дрейф на стандартном мандаринском всё равно сохраняется.
Ограничения. Это один закрытый набор китайских диалектов, всего одна эпоха и 391 обновление, три семейства моделей с замороженным речевым входом. Диагностика убедительно описывает наблюдаемую динамику, но пока не даёт универсального порога шага обучения или гарантированного способа предотвратить забывание.
Фишка из статьи. Отрицательный результат с прогревом полезнее обычной рекомендации «добавьте warm-up»: эффект зависит от модели и исходного шага и почти не меняет конечную ошибку.
| Вмешательство | Что происходит | Что не исправляется |
|---|---|---|
| Warm-up 2%, FireRed | Подавляет ранние всплески CER | Конечный CER почти тот же |
| Warm-up 2%, Qwen3 при 10−4 | Откладывает и уменьшает пик | Не устраняет поздний дрейф |
| Warm-up 2%, Qwen3 при 10−5 | Пик позже, но выше | Нет устойчивого выигрыша |
| Перенос AdamW, шаги 10–70 | Обходит ранний коллапс | Не спасает исходный мандаринский |
Как это читать: ранний коллапс и позднее забывание — разные явления. Первое можно смягчить траекторией оптимизатора, второе связано с последующим дрейфом представлений и требует отдельного ограничения.
Источники. страница arXiv; PDF статьи. Оригинальное название: Collapse, Repair, and Drift: The Dynamics of Speech Language Model Fine-Tuning.