MFlowAudio: потоковый синтез аудио по тексту с Mamba и согласованием потоков

Чтобы начать проигрывание длинного звука, не обязательно сначала генерировать его целиком. MFlowAudio переносит состояние временной Mamba между блоками на каждом шаге согласования потоков, сохраняя ограниченный объём памяти. Дополнительно предложено управление сменой текстового условия, когда новое описание конфликтует с уже накопленной звуковой историей.

Метод. Модель на 581 млн параметров генерирует латентные признаки Oobleck VAE с текстовым условием T5. TCMamba сочетает причинный проход по времени и проход по каналам. При блочной генерации сохраняется отдельное состояние каждого слоя для каждого из 25 шагов интегратора и двух ветвей CFG. Обучение проводится на восьми H100; контроль времени на одной RTX 5080 16 ГБ, по 20 повторений. Последующая адаптация использует данные, сгенерированные TangoFlux, поэтому это не сравнение только формы вычислительного блока при идентичном обучении.

Результаты. Для 10 с аудио время генерации 1,93 с против 3,51 с у TangoFlux; для 30 с 3,10 против 3,55 с. Стартовый блок примерно трёхсекундной длительности готов за 1,8 с независимо от общей длины в проверенном диапазоне. Качество неоднозначно: на AudioCaps 10 с FD 11,8569 против 15,8429 у TangoFlux лучше, но FADv 2,5248 против 2,1963 хуже, CLAP 0,4957 против 0,4990 немного ниже. Эти распределительные оценки не доказывают универсального субъективного превосходства или качества синтеза речи.

Ограничения. Это общий синтез звуков, не проверенная многоязычная система чтения текста. Постоянный кэш не является нулевым: полная конфигурация около 900 МБ. Строгая эквивалентность блочной и цельной генерации требует сохранения всех причинных состояний, но состояние свёртки Mamba в реализации опущено; прогрев уменьшает, не устраняет разницу, остаток оценивается в 2–6%. VAE имеет собственные граничные эффекты. Сравниваемые модели часто генерируют максимальную длину с последующей обрезкой, поэтому преимущество на коротком аудио не равно чистому ускорению архитектуры. Нет нагрузочного теста сервера с гарантией сроков.

Фишка из статьи. Приложение уточняет, что именно означает O(1) по длине аудио: память одного прохода не растёт, но умножается на число шагов и ветвей. Числа относятся к указанной конфигурации FP16, а не ко всей памяти модели.

Как это читать: постоянная относительно длительности память полезна для длинного потока, но не обязательно мала для устройства. Увеличение NFE или пакета увеличит эту константу. Аналогично 1,8 с означает ожидание первого трёхсекундного блока на конкретной GPU, не задержку 20-мс голосового интерфейса. Для развёртывания нужно отдельно проверять старт, каждый следующий блок, граничные щелчки и цену изменения условия, а не переносить асимптотику в обещание мгновенной генерации.

Источник. Оригинальное название: MFlowAudio: Efficient Text-to-Audio Synthesis via Mamba-based Stateful Flow Matching. arXiv:2610.41852; полный текст PDF.