Как выбрать голосовой образец для синтеза: обучение по результатам генерации

Самый чистый фрагмент записи не обязательно даст самый разборчивый клонированный голос. Авторы учат небольшую сеть выбирать голосовой образец по тому, как синтезатор работал с похожими образцами раньше. После обучения выбор не требует пробного синтеза, а задачу оценивают по новым предложениям, которых выбирающая сеть заранее не видит.

Метод. Из каждой англоязычной YouTube-записи основного говорящего формируются 19 кандидатов длиной 3, 5 и 10 с. Для обучения четыре синтезатора порождают несколько текстов с разными случайными начальными состояниями; исходом кандидата является среднее качество этих генераций. Замороженный Whisper-base на 21 млн параметров и обучаемые два Transformer-слоя с объединением вниманием, 1,4 млн параметров, предсказывают ранги WER и другие свойства. Итог усредняет пять сетей. Разбиение контролирует повторение голоса между записями, а сравнение включает выбор по UTMOS, DNSMOS, описательным признакам и настоящему пробному синтезу.

Результаты. На 400 отложенных записях для Qwen3-TTS 0.6B выбор снижает WER на 1,36 процентного пункта относительно случайного образца, примерно на 32% относительно; правило UTMOS даёт 0,83 пункта. Пробный синтез 12 предложений на каждый кандидат, 228 генераций на запись, даёт почти столько же, 1,35 пункта. Независимый wav2vec 2.0 подтверждает выигрыш над UTMOS на 0,71 пункта. Небольшое парное прослушивание не обнаруживает предпочтения UTMOS по естественности, но не имеет достаточной мощности для редких ошибок слов.

Ограничения. Исследование англоязычное, четыре модели из трёх семейств; при существенном изменении синтезатора желательны новые обучающие исходы. Получение этих исходов дорого, хотя сам выбор обходится без генерации. Whisper участвует в нескольких частях тракта, поэтому независимые транскрипции и оценщик особенно важны. Основной выбор оптимизирует разборчивость, не обязательно максимальную похожесть голоса и стиль. Численные прибавки качества являются результатами автоматических предикторов, не MOS носителей. Короткие кандидаты одного видео не покрывают все реальные различия устройств и длительных состояний голоса.

Фишка из статьи. Контроль на LibriSpeech намеренно добавляет шум к кандидатам и сохраняет известный чистый вариант. Это вывод Qwen3-TTS 1.7B с выбирающей сетью, обученной на YouTube-исходах версии 0.6B. Положительные изменения означают выигрыш относительно случайного выбора.

Как это читать: правило качества действительно находит чистый звук, но чистота и пригодность для распознаваемого синтеза не совпадают. Добавочная голова позволяет частично вернуть качество, не потеряв разборчивость. При проверке такого решения нельзя использовать только тот же предиктор, который выбирал кандидата: он систематически благоприятствует собственному критерию, скрывая задачно-зависимую пользу другого образца.

Источник. Оригинальное название: What Makes a Good Audio Prompt for Zero-Shot TTS? Learning Prompt Selection from Synthesis Outcomes. arXiv:2610.40372; полный текст PDF.