SEAM: спектральное объединение представлений для расширения словаря малоресурсного синтезатора

При добавлении новых символов синтезатору приходится заново осваивать их акустический смысл, если представления инициализированы случайно. SEAM собирает новый элемент словаря из уже известных частей, сохраняя не только их среднее, но и порядок. Для этого преобразование Фурье применяется к последовательности представлений, а не непосредственно к звуковому сигналу.

Метод. Для каждого измерения последовательности частей вычисляются комплексные коэффициенты DFT, применяется гауссово низкочастотное сглаживание и сохраняется до четырёх частот. Действительные и мнимые части объединяются и проецируются в пространство исходных представлений. Проекция подбирается закрытой ridge-регрессией по разложениям уже знакомых элементов словаря, без целевого аудио; далее синтезатор всё же настраивается на парных данных нового языка. Основные опыты используют Chatterbox на русском, казахском и французском; дополнительная архитектура VibeVoice проверяется в приложении.

Результаты. На русском при 25 часах настройки SEAM даёт CER 8,50% и WER 20,01% против 10,72/24,58% у среднего представления. При 100 часах у этого исходного варианта получены 9,64/19,87%, поэтому утверждение о четырёхкратной экономии означает близкое качество в отдельных условиях, не одинаковый выигрыш везде. На казахском при 25 часах CER уменьшается с 15,89 до 5,26%. На французском при 100 часах среднее представление, наоборот, немного лучше SEAM: CER 9,06 против 9,26%, WER 17,20 против 17,59%.

Ограничения. «Без аудио» относится только к инициализации, не к обучению и оценке всей системы. Нужны разложение на известные части и корректная фонетическая передача; для нелатинских записей используется таблица преобразования к представлению на основе английского IPA. Немонотонные результаты отдельных бюджетов чувствительны к составу слов. Теоретическая связь ошибки представления и акустики опирается на допущение гладкости генератора и не доказывает сохранение произношения любого нового звука.

Фишка из статьи. Важно сохранение комплексной фазы последовательности частей, а не просто применение FFT. В таблице 3 на русском при пяти часах меняют только порядок входных частей, оставляя спектральный фильтр и регрессию.

Как это читать: метод использует информацию о последовательности, которую обычное усреднение удаляет. Однако это фаза в пространстве текстовых представлений, не восстановление акустической фазы речи и не фазочувствительное улучшение звука. Абляция подтверждает чувствительность к порядку, но сама по себе не устанавливает универсальное превосходство над всеми возможными упорядоченными проекциями.

Источник. Оригинальное название: SEAM: Spectral Embedding Alignment and Merging for Low-Resource TTS. arXiv:2610.26252; полный текст PDF.