Несовпадение параметров STFT в предобученном аудиотрансформере: анализ и адаптация
Изменить окно или шаг STFT перед готовым Audio Spectrogram Transformer недостаточно: модель привязана к тому частотно-временному масштабу, на котором обучалась. Авторы количественно отделяют эту проблему от смены корпуса. Небольшой FiLM-адаптер получает параметры анализа и помогает работать с невиданными окнами, но не устраняет потери полностью.
Метод. Замороженный AST примерно на 87 млн параметров дополняется сетью на 198528 параметров. Она преобразует логарифмы длины окна и шага в масштаб и сдвиг каналов; лучший вариант применяется перед feed-forward-подслоем и разделяет параметры между слоями. Позиционные представления интерполируются по новой длине последовательности. На AudioSet-balanced меняются только окно и шаг при постоянных 16 кГц, 128 мел-полосах и окне Hann. Пять блоков проверки разделяют именно наборы длин окон между обучением, проверкой и тестом, дополнительно остаётся обычное разделение аудиозаписей.
Результаты. Исходные 400/160 отсчётов, то есть окно 25 мс и шаг 10 мс, дают mAP 0,456. Уменьшение окна до 12,5 мс при том же отношении окна и шага снижает mAP до 0,224. На невиданном окне 1600 отсчётов адаптер повышает медианную по шагам mAP с 0,166 до 0,313. В исходной конфигурации результат после адаптации 0,443, а не полное сохранение 0,456. Существенная часть пользы появляется уже с тысячей обучающих фрагментов.
Ограничения. Исследованы один каркас и его исходный корпус AudioSet, не перенос на речь, другие частоты дискретизации и число мел-фильтров. Нельзя называть метод адаптивным выбором частотно-временного разрешения: окно задаётся извне, сеть лишь учитывает его. Полного переобучения в сравнении нет. Около 20 тысяч дополнительных примеров мало относительно исходного AudioSet, но не обязательно мало для конкретного прикладного корпуса. Результаты по разным шагам сильно различаются, и одна медиана скрывает эту чувствительность.
Фишка из статьи. Параметры анализа и форма входного тензора решают разные задачи. Ниже сводка чисел разделов 2 и 5; строки с разными окнами имеют разные условия и не образуют единую кривую эффективности.
| Условие | mAP | Что оно проверяет |
|---|---|---|
| Исходный AST, окно 25 мс / шаг 10 мс | 0,456 | Соответствие предобучению |
| Исходный AST, окно 12,5 мс / то же отношение шага | 0,224 | Даже небольшое изменение масштаба |
| Окно 100 мс, без адаптации: медиана по шагам | 0,166 | Сильное несовпадение |
| Окно 100 мс, FiLM: медиана по шагам | 0,313 | Частичное восстановление |
| FiLM, исходное окно и шаг | 0,443 | Цена сохранения прежнего режима |
Как это читать: исправление размерности позиционного кода само по себе не возвращает знакомую модели акустическую структуру. FiLM существенно помогает, но 0,313 всё ещё далеко от исходных 0,456. Это инженерное основание сохранять конфигурацию STFT вместе с весами модели и проверять фронтенд как часть модели, а не как взаимозаменяемую подготовку данных.
Источник. Оригинальное название: STFT Frontend Mismatch in Pretrained Audio Spectrogram Transformers: Analysis and Adaptation. arXiv:2610.34533; полный текст PDF.