Клонирование детских голосов для синтетического расширения данных распознавания речи

Насколько синтез с клонированием голоса может заменить реальные детские записи при дообучении распознавателя? На двух английских корпусах авторы отделяют число голосов от разнообразия текстов и повторов одного текста разными голосами. Синтетика помогает без размеченной целевой речи, но не воспроизводит весь выигрыш настоящих детских примеров.

Метод. Из обучающих частей ENNI и MyST выбирают короткие опорные записи около четырёх секунд и до 80 голосов. OmniVoice синтезирует до 16 тыс. фраз на условие; разметка очищается от служебных меток, пунктуации и части запинок. Затем дообучают Whisper-small на реальных, синтетических и смешанных наборах. Отдельные серии фиксируют общий бюджет и меняют количество голосов, долю текстового словаря либо число говорящих, произносящих одну и ту же фразу. Голоса тестовых детей для подстройки не требуются.

Результаты. На реальном ENNI исходная WER 19,8% снижается до 16,4% при обучении только на синтетике. Настоящие ENNI-записи дают 8,8%, их смесь с синтетикой — 9,2%, то есть убедимого дополнительного выигрыша здесь нет. Разность 3,4 пункта от синтетики закрывает примерно 31% разрыва между исходной моделью и реальным обучением. На другом корпусе преимущества зависят от сочетания текстов и голосов; рост числа голосов для переноса насыщается примерно около 40.

Ограничения. Исследованы только английский, два корпуса и один распознаватель. ENNI и MyST заметно различаются задачей и объёмом; это не испытание всех клинических групп. Клонированный тембр не гарантирует воспроизведения детской артикуляции и спонтанных запинок, которые отчасти убирает сама подготовка текста. Пересечение доверительных интервалов не доказывает эквивалентность двух способов обучения, а низкая WER на синтетическом тесте не гарантирует переноса на людей.

Фишка из статьи. Таблица II позволяет увидеть масштаб последней проблемы на одной и той же модели. Оценка на похожем синтезе делает систему значительно лучше, чем она оказывается на настоящей детской речи.

Как это читать: по синтетическому тесту смесь выглядит лучшей, хотя на людях она не превосходит реальное обучение. Разрыв 2,1% против 16,4% особенно нагляден: улучшение согласованности с генератором нельзя считать улучшением распознавания детей. Серия с одинаковыми 8000 фразами дополнительно показывает пользу нескольких голосовых реализаций одного текста, а не максимизации уникальных предложений любой ценой.

Источник. Оригинальное название: Zero-Shot Voice Cloning for Synthetic Data Augmentation in Children's ASR. arXiv:2611.03050; полный текст PDF.