Что на самом деле делает корреляционную дистилляцию SSL устойчивой к шуму?
Авторы пересматривают принятое объяснение шумоустойчивости корреляционной дистилляции речевых SSL-моделей. Причиной оказывается не декорреляция признаков ученика, а диагональ взаимной корреляции между учителем и учеником при независимо добавленном шуме; прежний вывод возник из-за смещённого PCA-зонда.
Метод. HuBERT дистиллируется на LibriSpeech-100, а шум CHiME-3 при 10 дБ остаётся вне обучения. Содержание шума в представлении измеряется полноразмерной логистической регрессией по 768 координатам, а механизм проверяется последовательной абляцией членов функции, одинаковым шумом у учителя и ученика и отдельными классификаторами по каждой координате.
Результаты. Шумовая аугментация снижает точность определения типа шума с 96,88% до 76,98%; добавление только взаимной корреляции — до 55,02%. Возврат члена самокорреляции почти ничего не удаляет: 55,55%. При одинаковом шуме учителя и ученика точность снова возрастает до 95,38%, а падение точности распознавания намерения на шуме увеличивается с 2,55 до 12,90 п.п. Полная потеря всё же улучшает чистые задачи: IC 96,61% против 95,60% без самокорреляции.
Ограничения. Механизм проверен для одного ученика DistilHuBERT, конкретной схемы аддитивного шума и CHiME-3 при 10 дБ. Линейная декодируемость типа шума — диагностический зонд, а не прямое измерение всех форм устойчивости. Для реверберации и структурированного CHiME-шума подавление существенно слабее, чем для независимого Gaussian/FSD50K.
Фишка из статьи. Самокорреляция не удаляет шум, а перераспределяет его. При почти одинаковой общей декодируемости 55,5% и 55,0% шум виден отдельно в 34 координатах полной модели и лишь в пяти координатах без самокорреляции. PCA по 32 главным компонентам поэтому ошибочно принимает второй вариант за более инвариантный.
| Вариант | Точность определения шума | Координат выше 30% | IC: чисто / шум |
|---|---|---|---|
| Без шумовой аугментации | 96,88% | 727 из 768 | — |
| Обычная дистилляция, независимый шум | 76,98% | 16 | 93,03% / 89,29% |
| Только взаимная корреляция | 55,02% | 5 | 95,60% / 90,83% |
| Полная корреляционная потеря | 55,55% | 34 | 96,61% / 94,06% |
| Полная потеря, одинаковый шум | 95,38% | 719 | 95,12% / 82,22% |
Как это читать: независимый шум у двух ветвей является причинным условием подавления, а самокорреляция улучшает геометрию для конечных задач. Два члена функции стоит настраивать для разных целей, а не трактовать как один блок устойчивости.