ShlokaDhara: многодикторный корпус санскритской декламации с учётом стихотворного размера
ShlokaDhara переносит задачу синтеза санскрита от обычного чтения к декламации, где важны ритм и чередование лёгких и тяжёлых слогов Laghu–Guru. Корпус полезен тем, что качество проверяется не только нейросетевой оценкой звучания, но и экспертами и контролируемыми изменениями слоговой длительности. Эти проверки не дают одинаково оптимистичной картины.
Метод. Набор содержит 43,24 часа и 18 322 записи с разными голосами, мелодикой и стихотворными размерами Chandas. Авторы дообучают несколько систем синтеза, затем подробнее изучают XTTS-v2, которому подают текст и образец декламации нужного размера. Экспертный опыт включает 16 знатоков санскрита и 20 синтезированных фрагментов девяти размеров. Для тонкого анализа длительностей границы слогов размечаются вручную.
Результаты. XTTS-v2 получает лучший UTMOS среди проверенных систем: 4,01 на знакомом и 3,24 на отложенном наборе. Но человеческая оценка заметно скромнее: естественность 2,91 ± 0,14, сохранение ритма 2,92 ± 0,14 и общее качество 2,92 ± 0,13 по пятибалльной шкале. Значения UTMOS и экспертные баллы нельзя читать как одну шкалу или считать автоматическую оценку доказательством правильного стихотворного размера.
Ограничения. Корпус сильно смещён к Anushtup; 75,7% материала связано с Bhagavad Gita. Разные голоса и манеры не устраняют ограниченность текстового источника. Подробная человеческая оценка выполнена только для выбранной лучшей модели и малого числа фрагментов. Прирост общей длительности ещё не показывает, что удлинились именно нужные слоги: его могут создавать паузы и изменение темпа.
Фишка из статьи. В разделе 4.4 авторы заменяют две-три лёгкие позиции тяжёлыми, сохраняя остальной текст, голосовой образец и настройки. Каждый изменённый стих синтезируется пять раз.
| Показатель контролируемого опыта | Значение |
|---|---|
| Число стихов | 17 |
| Стихи с увеличением длительности | 13 из 17, или 76,5% |
| Средняя исходная длительность | 11,95 с |
| После замены Laghu на Guru | 12,25 с |
| Среднее увеличение | 0,30 с |
Как это читать: модель действительно реагирует на изменение метрического веса в ожидаемую сторону в большинстве примеров, но не во всех. Совпадение средней прибавки с оценкой по слогам полезно как проверка чувствительности. Для доказательства локально правильной просодии всё равно нужен слоговой анализ, который пока требует ручного выравнивания и не заменяется общим UTMOS.
Источник. Оригинальное название: ShlokaDhara: A Multi-Speaker Sanskrit Speech Corpus for Learning Meter-Aware Prosody in Text-to-Recitation. arXiv:2610.26929; полный текст PDF.