DRC-TTS: синтез малайской речи без словаря произношений с двумя временными разрешениями
Редкие акустические токены удобны для синтеза, но их временная сетка может оказаться грубее длительности отдельных буквенных признаков. DRC-TTS сначала разворачивает последовательность символов на частоте 50 Гц, а только затем уменьшает её до 12,5 Гц кодека. Это попытка не потерять короткие единицы ещё до предсказания звука, показанная на малайской читаемой речи.
Метод. Неавторегрессионная модель основана на FastSpeech 2: текстовый кодировщик, предсказание длительностей, регулятор длины, признаки высоты и энергии, декодер дискретных кодов Mimi. Символьная длительность сначала округляется на сетке 20 мс с минимумом один кадр; свёртка с шагом затем сокращает развёрнутое представление в четыре раза. Совместно обучаются длительности, высота, энергия и коды, а вспомогательная мел-спектральная ошибка стабилизирует признаки. Без словаря произношений не значит без текстовой обработки: есть правила нормализации чисел, дат и сокращений и подготовленное выравнивание.
Результаты. Idayu содержит 12421 запись, около 12,4 часа, с разделением 90/5/5%. Оба сравниваемых варианта обучены 150 тыс. шагов, пакет четыре. CER внешнего распознавателя снижается с 27,11% до 21,86%, на естественных записях он сам имеет 16,32%. MCD 11,60→10,70 дБ, ошибка F0 41,59→40,32 Гц, V/UV 2,06→2,01%; BAP практически не меняется, 11,45→11,46 дБ. Двадцать носителей на двадцати тестовых предложениях дают MOS 4,30±0,15 против 4,12±0,09; естественная речь 4,65±0,08.
Ограничения. Один небольшой корпус и язык, нет межкорпусного и многоголосного переноса, измерения задержки или нескольких зерён обучения. Доверительные интервалы MOS перекрываются, парный статистический тест преимущества не приведён. CER не является прямой долей пропущенных символов: он включает ошибки распознавателя, качество которого на оригинале уже ограничено. Не отделён вклад более частой сетки от минимальной длительности, например сравнением с правильно ограниченной базовой моделью. Поэтому статистика коротких символов объясняет риск, но не доказывает устранение всех пропусков в звуке.
Фишка из статьи. В корпусе средняя символьная длительность 57,04 мс, а 20,23% символов короче 40 мс. Таблица ниже раскрывает механизм квантования из раздела анализа длительностей, а не добавляет новый акустический эксперимент.
| Операция | Один кадр | Что происходит с коротким символом |
|---|---|---|
| Округление непосредственно при 12,5 Гц | 80 мс | Длительность менее 40 мс округляется в ноль |
| Развёртывание DRC-TTS при 50 Гц | 20 мс | Минимум один кадр сохраняет представление |
| Сокращение свёрткой до частоты Mimi | 80 мс на выходе | Объединяет уже развёрнутые соседние признаки |
Как это читать: частота кодека сама по себе не обязана совпадать с частотой управления длительностью. Ключевой приём состоит в сохранении короткой единицы до объединения, а не в повышении битрейта выходных кодов. Гарантия «не ноль кадров» относится к промежуточной последовательности: после свёртки признаки всё ещё могут смешаться, и только отдельная проверка произношения покажет, насколько хорошо сохранился каждый звук.
Источник. Оригинальное название: DRC-TTS: A Dual-Resolution Codec-Based Architecture for Lexicon-Free Malay Speech Synthesis. arXiv:2610.38316; полный текст PDF.