KunSet: корпус для выравнивания текста и поиска рифм в опере куньцюй

KunSet переносит выравнивание и поиск рифм в китайскую оперу куньцюй, где растянутые гласные, мелизматика и историческая фонология плохо укладываются в обычные речевые модели. Ценность работы не только в корпусе: авторы отдельно измеряют неоднозначность ручных границ и сравнивают традиционную систему рифм с современным произношением. Это позволяет отличать ошибки алгоритма от неопределённости самой задачи.

Метод. Корпус содержит 281 запись общей длительностью 155,19 часа; текстовая разметка покрывает 106,34 часа, включая 50,30 часа пения и 55,15 часа разговорных фрагментов. Размечены 78 505 предложений и 482 164 слога. Более 200 подготовленных аннотаторов работают с машинными черновиками и двумя этапами проверки. Для выравнивания SOFA адаптируется на 251 отрывке, после чего декодирование акустических опорных точек сравнивается при неизменной обученной модели. Для рифм поверх замороженного китайского HuBERT обучается проекция с контрастивным критерием.

Результаты. На 11 735 внутренних границах адаптированное декодирование уменьшает среднюю абсолютную ошибку на 13,04%, а доля границ в пределах 200 мс растёт с 79,52 до 81,69%. В поиске рифм P@10 составляет 17,16% при традиционных фонологических метках против 16,35% при современных китайских финалях и 11,36% у исходных HuBERT-признаков. Из выдачи исключаются совпадения иероглифа и записи: это не простое нахождение того же слова в том же исполнении.

Ограничения. Корпус ограничен одной музыкально-речевой традицией и исследовательским использованием. Из 461 164 слогов, связанных с фонологическим справочником, полностью разрешены 273 996: неоднозначность не следует принимать за отсутствие данных. Выигрыш традиционных меток частично зависит от выбранной системы оценки рифм. Порог 200 мс не одинаково содержателен для разговорного слога и длительной распетой гласной.

Фишка из статьи. В таблице 2 два независимых аннотатора A и B расходятся на пении гораздо сильнее, чем на разговорных фрагментах. Ниже приведены средние абсолютные различия их границ, а не ошибки модели.

Как это читать: при распеве граница может быть фонетически спорной даже для обученных людей. Поэтому для оценки выравнивания нужен раздельный отчёт по типу исполнения и анализ принятого определения границы. Это не доказательство достижения моделью человеческого предела: модельные ошибки и расхождения аннотаторов получены не на полностью одинаковом наборе границ. Но таблица объясняет, почему один общий показатель без такого контроля вводит в заблуждение.

Источник. Оригинальное название: KunSet: A Corpus and Benchmark for Lyrics Alignment and Rhyme Retrieval in Kunqu Opera. arXiv:2610.29031; полный текст PDF.