EDICT: глобальное редактирование тембра и локальное управление инструкциями в синтезе речи

EDICT объединяет две обычно раздельные операции: меняет тембр исходного голоса целиком и затем управляет эмоцией или подачей отдельных фрагментов одной реплики. Центральная идея — сначала создать отредактированный акустический эталон, а на границах сегментов пересобирать KV-кэш, сохраняя только ограниченный голосовой контекст.

Метод. Первый этап генерирует кодековые токены нового тембра из исходной записи и структурированной инструкции. Второй использует этот эталон как якорь для замороженного Qwen3-TTS-VD или CosyVoice 2; при смене локальной инструкции кэш внимания пересчитывается с начальными и недавними акустическими позициями.

Результаты. На TimbreEdit-Bench EDICT достигает 89,3/91,7% точности категориальных правок для структурированных/описательных инструкций против 53,2/49,8% у Qwen3-TTS-VD. В локальном управлении на Qwen3-TTS-VD точность сегментов растёт с 74,25% у TED-TTS до 82,30%, а качество переходов — с 78,03% до 82,00%.

Ограничения. Обучение и автоматическая оценка используют синтетические инструкции и LLM-судью; слушательский тест охватывает 19 человек и небольшое число примеров. Пересборка кэша повышает английский WER с 3,9% у постоянного кэша до 5,1%, поэтому контроль даётся не бесплатно.

Фишка из статьи. Абляция разделяет роли двух кусочков акустического контекста. Начальные позиции удерживают голос, а недавние обеспечивают плавный переход; удаление последних обрушивает Trans с 82,00 до 55,32%.

Как это читать: максимальная локальная управляемость без начального контекста сопровождается потерей сходства говорящего. Полная схема выбирает более ровный компромисс между инструкцией, идентичностью и переходами.