VoxCanvas-41M: двуязычные пары для редактирования речи по инструкциям и динамика обучения

VoxCanvas-41M предлагает около 41 миллиона пар для изменения содержания речи и вставки или удаления неречевых вокализаций. Более интересный вклад, чем сам размер, состоит в разборе того, какие операции требуют генеративного обучения, а какие осваиваются быстро. Удаление учится значительно легче вставки и замены; одинаковое число обновлений или примеров не делает эти задачи одинаково трудными.

Метод. Китайская и английская части содержат примерно по 20,5M пар. Qwen3-ASR и принудительное выравнивание задают границы; F5-TTS перегенерирует изменяемый участок с запасом по 0,5 с с каждой стороны. Фильтрация требует нулевого WER для английского или нулевой ошибки пиньиня для китайского, а также сходства голоса выше 0,5. Для основных типов редактирования пары обращают: синтез становится входом, настоящая речь целью, инструкция инвертируется. Модель VoxCanvas-Edit получает около 20M LoRA-параметров поверх AuK с замороженным Qwen2.5-Omni, аудио VAE и flow-matching генератором; VAE здесь латентное представление, не самостоятельный компрессор.

Результаты. На SpeechEditBench средняя точность изменения содержания возрастает с 91,05 до 95,22%, китайская с 88,32 до 93,66%, английская с 93,78 до 96,78%. Неречевое редактирование растёт гораздо скромнее: 53,25 → 54,50%. Отдельные анализы используют меньшую модель 278M и преимущественно английскую речь. Вставка и замена сильно выигрывают от перехода с 50K к 500K примеров, но дальнейшее увеличение до 5M даёт убывающую отдачу; удаление менее чувствительно к масштабу. Основные оценки усреднены по трём случайным запускам.

Ограничения. Пар много, но это не 41M независимо записанных человеческих изменений. Есть ошибки исходного распознавания, синтеза и границ, а строгая ASR-фильтрация смещает данные к легко распознаваемой речи. Обращение пар делает цели естественнее, одновременно создавая синтетические входы. Стиль и эмоции не входят в основной охват; результаты по неречевым событиям остаются умеренными. Для вывода используются 32 шага Euler и CFG, без установленного RTF или потоковой задержки. Аналитическая маленькая модель и дообученный AuK не должны смешиваться в одну кривую масштабирования.

Фишка из статьи. В таблице 2 для Full-EN Ming-Freeform-Audio-Edit сходство голоса и точность изменения расходятся. WER вне редактируемого участка показывает, насколько вмешательство затронуло то, что следовало оставить.

Как это читать: самый похожий голос не означает самый надёжный редактор: GigaEdit-L повышает SIM, но ухудшает выполнение команды и сохранность текста. У VoxCanvas улучшение команды не сопровождается заметным уменьшением ошибок вне правки в этом режиме. Поэтому полезно одновременно проверять выполнение инструкции, содержание нетронутой части и голос, а не выбирать модель по одной сходственной метрике.

Источник. Оригинальное название: VoxCanvas-41M: A Large-Scale Bilingual Dataset for Instruction-Based Speech Editing and Its Learning Dynamics. arXiv:2611.08251; полный текст PDF.