Проверка чтения иероглифических слов в японском синтезе финансовых новостей

Проверять синтез повторным распознаванием недостаточно: языковая модель может записать ожидаемое слово, хотя голос произнёс его неверно. Для японских финансовых терминов автор сравнивает акустическую вероятность правильного чтения и заранее известных ошибочных вариантов. Это проверка произношения, а не орфографического совпадения, и её эталон берётся из независимого предметного словаря.

Метод. Замороженная wav2vec 2.0 XLSR-53, обученная выдавать хирагану, вычисляет CTC-вероятности целого предложения. Кандидаты отличаются только чтением проверяемого слова; разность логарифмов вероятностей частично сокращает общую ошибку окружающего контекста. Если альтернативное чтение вероятнее правильного более чем на порог, предложение отправляется на повторный синтез. Один проход кодировщика обслуживает все варианты. Словарь содержит 30 терминов с одним вручную выбранным ошибочным чтением на каждый. Обычный Whisper-контроль предлагается сохранить для пропусков и вставок, но сделать менее строгим.

Результаты. Для трёх клонированных голосов и 60 предложений созданы 540 записей: правильное чтение, намеренно ошибочное и естественный иероглифический вход. На 360 контролируемых примерах новый критерий при нулевом пороге находит 91,7% ошибок с 5,0% ложных тревог, AUC 0,990. Whisper с точным сравнением каны находит 78,9%, но отвергает 44,4% правильных записей. На естественном входе доля запросов повторного синтеза падает с 38,9% до 6,1%; из 11 тревог нового метода пять являются настоящей ошибкой чтения, шесть ложные.

Ограничения. Основная разметка предполагает, что синтезатор выполнил специально заданные фонемы; полной независимой проверки носителями нет. Искусственные ошибки произносятся бегло и могут быть проще частично искажённой естественной артикуляции. Один синтезатор, одна CTC-модель и небольшой словарь не покрывают новые слова, музыкальное ударение, пропуски и повторы. Все шесть вариантов одного минимального различия по звонкости были пропущены. Измеренные 17,6 мс на предложение и RTF около 0,004 относятся к H100 NVL, не к обычному процессору.

Фишка из статьи. Таблица III позволяет выбрать стоимость пропущенной ошибки и лишней перегенерации. Контролируемый набор содержит по 180 правильных и ошибочных записей. Увеличение порога означает более консервативное обвинение синтезатора.

Как это читать: для публикации финансового текста дополнительные попытки могут быть дешевле неверного термина, а для массовой генерации приоритет изменится. Важнее другое: 36 из 38 ошибок, пропущенных Whisper, скрылись за восстановленным ожидаемым иероглифом. Независимость фонетического эталона устраняет и второй общий отказ, когда синтезатор и проверяющий используют одну ошибочную процедуру чтения.

Источник. Оригинальное название: Reading-Level Verification of Kanji Words in Japanese Financial Speech Synthesis. arXiv:2610.39168; полный текст PDF.