Аудиотекстовые данные Масштабирование CLAP
arXiv cs.SD

LAION-Audio-XL: масштабный аудиотекстовый корпус и закономерности обучения CLAP

ArXiv:2611.11592

LAION-Audio-XL собирает около 365 млн пар звука и текста и использует их для систематического исследования небольших контрастивных аудиотекстовых моделей. Главный инженерный вопрос — куда направлять дополнительный вычислительный бюджет: в параметры, число примеров или длину записи. Результаты показывают, что более длинный обучающий звук может обходиться дороже и одновременно давать худшие представления.

Метод. Конвейер объединяет открытые наборы и веб-аудио, фильтрацию, устранение повторов и автоматически построенные подписи. Два кодировщика CLAP2 обучаются совместно с контрастивной целью; изучаются пять размеров вплоть до 340 млн параметров и разные количества просмотренных примеров. Оценка MAEB-30 охватывает 18 речевых, шесть музыкальных и шесть других звуковых задач. Число просмотренных примеров не равно числу уникальных записей: на верхних бюджетах корпус проходится повторно.

Результаты. CLAP2-L достигает среднего MAEB-30 53,6%; на HEAR модели S–L получают 81,4–81,9, но лучшие чисто акустические кодировщики достигают 86,8. При удвоении вычислений подогнанная ошибка MAEB уменьшается примерно на 3,9% относительно своего значения. Оценки оптимального роста имеют степени 0,405 для размера модели и 0,583 для числа примеров. Речь и музыка продолжают улучшаться в проверенном диапазоне, тогда как часть остальных звуковых задач насыщается раньше.

Ограничения. Законы масштабирования опираются всего на пять размеров и частично на граничные оптимумы; авторы называют показатели ориентировочными. Состав корпуса смещён к речи, подписи могут ошибаться, а лицензии и доступность веб-источников требуют отдельного учёта. Среднее по разным задачам не является вероятностью правильного ответа одной модели. Вывод о коротких примерах относится к данному контрастивному обучению, а не к обучению длительным разговорам вообще.

Фишка из статьи. Таблица 12 сравнивает одну модель M-C после 256 млн просмотренных примеров. Исключение записей длиннее 30 с оказывается выгоднее как сохранения 120-секундных записей, так и простого обрезания. Вычисления приведены в единицах 10^20 FLOPs.

Политика длительностиВычисленияMAEB-30, %
До 120 с4,9743,0
Исключить записи длиннее 30 с1,4447,1
Обрезать до 30 с1,7646,5
Чаще выбирать короткие, сохраняя длинные3,1841,9

Как это читать: длинные последовательности резко увеличивают стоимость внимания и уменьшают размер пакета. В этой постановке дополнительный контекст не окупает цену: меньший бюджет даёт более сильную универсальную оценку. Различие между отбрасыванием и обрезанием также напоминает, что политика длительности меняет не только вычисления, но и состав обучающих примеров.

Источник. Оригинальное название: LAION-Audio-XL: A Web-Scale Corpus and Scaling Studies for Contrastive Language-Audio Pretraining. arXiv:2611.11592; полный текст PDF.

Оригинальная статья на arXiv