Синтез ирландской речи с обучающим сигналом из словаря произношений

Для языка с небольшим речевым корпусом словарь может стать источником проверки, а не только входом синтезатора. Автор адаптирует Qwen3-TTS к ирландскому, обучает фонемного проверяющего по словарным транскрипциям и отбирает им удачные собственные генерации для дообучения. Работа особенно полезна честным разбором того, чего такой ресурс не даёт: естественность носители ещё не проверяли, а управление редким диалектом не получилось.

Метод. Обучение использует 12311 записей Common Voice, 202 говорящих и 12,84 часа, объединённых под одной голосовой меткой. Словарь Wiktionary содержит 11532 слова и диалектные транскрипции; ими размечаются фонемы для wav2vec2-XLS-R CTC на 300 млн параметров. Для одного раунда отбора генерируются четыре кандидата на каждый из 250 текстов, проверяются фонемная ошибка, диалектное соответствие и защитный критерий CER. Из 1000 записей сохраняются 84, на них обучается LoRA ранга 16. Это отбор и обычное дообучение, не оптимизация градиента через словарь.

Результаты. На FLEURS-223 средний по трём генерациям CER снижается с 0,225 после исходной адаптации до 0,159, разность −0,066 с интервалом −0,076…−0,056. Синтез с нуля даёт 0,397, клонирование без адаптации 0,437. Независимый Blas-IE подтверждает направление, 0,218→0,175. Повторный раунд уже не даёт значимого улучшения. Автоматический поиск ближайшего обучающего голоса проходит установленный автором порог для объединения 202 говорящих, но малые смеси доноров этот тест проваливают; это ограниченная проверка идентичности, не универсальная гарантия анонимности.

Ограничения. Нет субъективной оценки естественности, правильности произношения или диалектной аутентичности. Проверяющий измеряет соответствие словарю и наследует ошибки неполной, частично серебряной разметки; это не оценка того, насколько речь похожа на речь носителя. Ульстерский вариант представлен 229 записями против 8451 манстерских, а среди собственных генераций только 25 из 1000 имеют ульстерские признаки. Нельзя оптимизацией получить вариативность, которой почти нет в обучающих данных. Абсолютный CER зависит от распознавателя, поэтому важны независимая проверка и исходный уровень на живой речи.

Фишка из статьи. Контроль отбора сравнивает одинаковые 84 записи из одного пула и одинаковое дообучение. Ниже одна генерация FLEURS-223, не трёхкратные средние основного результата.

Как это читать: полезен сам отбор, а не доказанное превосходство словарного критерия над распознавателем. Под независимым Blas-IE два сильных способа практически равны, 0,172 и 0,175, различие незначимо. При этом фонемный отбор лучше по собственной точности произношения, PER 0,056 против 0,059. Корреляция двух сигналов на кандидатах всего 0,097: они видят разные ошибки. Практическая ценность словаря в независимой диагностике звуков и диалектов, а не в автоматическом выигрыше на любом CER.

Источник. Оригинальное название: Pronunciation-Supervised Text-to-Speech for Irish (Gaeilge). arXiv:2610.38384; полный текст PDF.