AuRA: автоэнкодеры на основе самообученных представлений для генерации звука по тексту
AuRA проверяет, обязательно ли хорошее скрытое пространство для генерации звука должно лучше всего восстанавливать исходный сигнал. Авторы соединяют замороженные самообученные кодировщики BEATs и MATPAC++ с обучаемыми декодерами, а затем генерируют их представления по тексту. Главный результат — разрыв между качеством реконструкции и пригодностью пространства для генерации.
Метод. Для каждого представления обучают декодер и отдельную модель rectified flow с текстовым условием T5. Генераторы имеют около 275 млн параметров и одинаковый бюджет обучающих итераций. Сравнение включает Stable Audio VAE, SAME и AudioLDM2 VAE. Все выходы ограничиваются полосой до 8 кГц, чтобы различия исходной частоты дискретизации не подменяли эффект скрытого пространства; на выводе используются 50 шагов Эйлера.
Результаты. На AudioCaps-test MATPAC++ даёт FAD 0,043 против 0,070 у SA-VAE; на WavCaps-test — 0,072 против 0,095. По соответствию тексту победитель иной: AudioLDM2 VAE имеет CLAP 0,557 на AudioCaps, BEATs — 0,550 с пересекающимися доверительными интервалами. На отдельно отложенной части WavCaps BEATs достигает CLAP 0,494.
Ограничения. Это сравнение общих звуков, не проверка разборчивости речи или сохранения голоса. Оценивание ограничено полосой 8 кГц и автоматическими метриками. У AudioSet, использованного для предварительного обучения кодировщиков, есть небольшое пересечение с AudioCaps-test, поэтому особенно важен отдельный тест WavCaps. Более длинные последовательности SSL повышают стоимость одного прохода; одинаковое число примеров не означает одинаковые вычисления.
Фишка из статьи. Таблицы 1 и 2 позволяют сопоставить восстановление и генерацию на одном тесте AudioCaps. Лучшее сохранение исходной записи не задаёт порядок генераторов.
| Пространство | ViSQOL реконструкции, выше лучше | FAD генерации, ниже лучше | CLAP генерации |
|---|---|---|---|
| SA-VAE | 4,44 | 0,070 | 0,528 |
| BEATs | 3,87 | 0,048 | 0,550 |
| MATPAC++ | 4,11 | 0,043 | 0,538 |
Как это читать: BEATs заметно хуже восстанавливает конкретный сигнал, но поддерживает более качественное распределение сгенерированных звуков по FAD и лучшее соответствие тексту по CLAP, чем SA-VAE. Это аргумент проверять кодировщик в конечной генеративной задаче. Объяснение через семантическую структуру SSL авторы предлагают как гипотезу, а не как установленный причинный механизм.
Источник. Оригинальное название: Exploring Representation Autoencoders for Text-to-Audio Generation. arXiv:2610.26881; полный текст PDF.