NepTTS-Bench и NepaliMOS: оценка непальского синтеза речи носителями языка
Чистое звучание и низкая ошибка проверяющего распознавателя ещё не означают правильного непальского произношения. NepTTS-Bench сопоставляет субъективные оценки носителей языка, несколько распознавателей и безэталонные показатели качества. Самый полезный результат работы: даже специально обученная непальская оценочная модель плохо переносит ранжирование на неизвестного поставщика синтеза.
Метод. В наборе 205 предложений: 147 входят в 77 частично пересекающихся минимальных пар, ещё 58 проверяют просодию и трудные тексты. Материал нацелен на придыхание, ретрофлексные и зубные согласные, назализацию, удвоение и выпадение шва. Основная панель содержит десять конфигураций синтеза и два человеческих эталона, 6962 оценки от 180 участников. NepaliMOS дообучает четыре верхних блока IndicWav2Vec и регрессионную головку по средним оценкам 1697 уникальных синтетических записей. Отдельно исключают из обучения все записи одной системы.
Результаты. Piper получает MOS 3,50 с интервалом [3,31; 3,69], ElevenLabs v3 3,47 [3,28; 3,66], gTTS 2,60 [2,38; 2,83]. Близкие верхние результаты не устанавливают единственного победителя. По девяти системам корреляция Спирмена с человеческим MOS равна 0,90 для NepaliMOS и 0,40 для SCOREQ. Однако последнее число не доказывает, что первая модель будет так же хорошо выбирать нового поставщика.
Ограничения. Согласие слушателей низкое: Krippendorff α = 0,17. Корпус фонологически мотивирован, но не является полной формальной валидацией непальской фонологии. Проверка на случайных записях оставляет знакомые системы и в обучении, и в тесте. Пилотные голоса вне основной панели имеют разреженные оценки. Для Whisper large-v3-turbo наблюдаются тяжёлые галлюцинации, поэтому его CER исключён из основной таблицы.
Фишка из статьи. Главная проверка переносимости меняет не архитектуру, а единицу разделения данных. Сравнение из раздела V показывает, почему корреляцию средних по знакомым системам нельзя использовать как гарантию качества на новых.
| Протокол NepaliMOS | Что исключается из обучения | Корреляция Спирмена |
|---|---|---|
| Случайное разделение 90/10, записи | Отдельные записи знакомых систем | 0,59 по записям |
| Та же знакомая панель, средние по системам | Поставщики остаются знакомыми | 0,90 по системам |
| LOSO | Все записи одной системы | 0,43 по записям |
Как это читать: это разные уровни агрегации, поэтому 0,90 и 0,43 нельзя трактовать как чистое падение одного и того же показателя. Сопоставимая корреляция отдельных записей снижается с 0,59 до 0,43; средние неизвестных систем ранжируются ненадёжно. Практический вывод авторов: перед применением к новому поставщику нужна небольшая человеческая калибровочная выборка.
Источник. Оригинальное название: NepTTS-Bench: Native-Speaker Benchmarking and NepaliMOS for Nepali Text-to-Speech. arXiv:2611.03718; полный текст PDF.