LoCA: локальное назначение вознаграждения при обучении авторегрессионного синтеза речи

LoCA пытается исправлять ошибки синтеза там, где они возникли, вместо одинакового поощрения или штрафа всей фразы. Распознавание и выравнивание находят участки с пропусками, вставками и заменами; оценка фразы перераспределяется по акустическим кадрам. Второй компонент ограничивает чрезмерное притягивание хороших и отталкивание плохих примеров при регрессионном обучении flow-matching-модели.

Метод. Метод применяется к VoxCPM2 с 2 млрд параметров. Распознанная последовательность сопоставляется с целевым текстом, ошибки переводятся во временную маску и затем в индексы скрытых акустических кадров. Положительные и отрицательные пороги задаются относительно опорной модели. Для обучения используется 50 тысяч примеров на шести языках; русский в этот дополнительный этап не включён. Авторы отдельно учитывают автоматические признаки тяжёлого сбоя, включая тишину, чрезмерные паузы и ошибку генерации.

Результаты. На выбранном наборе CV3 из 3624 примеров ошибка содержания снижается с 5,986% у исходной модели и 5,553% у GROW до 4,758%. Сходство голоса, умноженное на 100, растёт с 67,168 до 69,137. На 500 русских примерах WER уменьшается с 6,219 до 4,723%, но число тяжёлых автоматических сбоев растёт с пяти до шести. Отсутствие русского в данном дообучении не означает его отсутствия в предварительном обучении VoxCPM2.

Ограничения. Исследованы одна основная модель и одно случайное начальное состояние обучения. Разметка ошибок наследует ошибки распознавателя и временных меток; автоматический счётчик сбоев не заменяет прослушивание. Свойства порогового регрессионного критерия на фиксированных данных не доказывают сходимость всего оптимизатора или отсутствие дрейфа параметров.

Фишка из статьи. В таблице 2 полная система лучше по средней ошибке и голосу, но не по числу тяжёлых случаев. Это важный конфликт целевых показателей.

Как это читать: локальные метки и пороги действительно улучшают среднее содержание, но нельзя описывать их как безусловное средство предотвращения всех сбоев. Если продукт особенно чувствителен к редким полным провалам, выбор контрольной точки должен учитывать хвост распределения отдельно от среднего WER и сходства голоса.

Источник. Оригинальное название: LoCA: Local Credit Assignment for Reinforcement Learning of Autoregressive Flow-Matching TTS. arXiv:2610.28035; полный текст PDF.