Сколько ошибок синтеза редких слов на самом деле создаёт проверяющий распознаватель
Проверка синтеза через распознавание измеряет сразу два устройства: синтезатор и проверяющую модель. Авторы запускают те же распознаватели на человеческих записях тестовых предложений и показывают, насколько часто редкое слово ошибочно бракуется ещё до синтеза. Это полезный аудит метрики, но не доказательство безошибочного произношения синтетической речи.
Метод. Используются 500 предложений LibriSpeech и 200 записей 161 предложения FLEURS en_us. F5-TTS создаёт восемь вариантов на первом наборе и четыре на втором; Kokoro проверяется с четырьмя голосами. OWSM v3.1 служит основным проверяющим, Whisper large-v3-turbo и wav2vec2.0 large дополнительно рассматривают каждое слово. Слово оценивается, если хотя бы одна модель распознала его в человеческой записи; ошибка синтеза фиксируется, если ни одна не услышала его ни в одном варианте. Вставки игнорируются: это доля пропущенных слов, не полный WER.
Результаты. На очень редких словах LibriSpeech основной проверяющий ошибается в человеческой речи в 32,9% случаев, а все три одновременно в 21,6%; на FLEURS соответствующие доли 66,7 и 41,7%. На оцениваемых очень редких словах согласование снижает кажущуюся ошибку F5-TTS с 10,1 до 3,4%, Kokoro с 13,4 до 4,7%. Редкие слова остаются труднее частых, но масштаб проблемы заметно зависит от измерителя.
Ограничения. Нет слушательской проверки, распознаватели могут совместно ошибаться или угадывать слово по контексту. Неоцениваемые всеми тремя слова исключены, поэтому полученные проценты не описывают весь словарь. Английская читаемая речь не представляет произвольный язык. Выбор дополнительных редких предложений и правила сопоставления уточнялись после просмотра данных. Ошибки на человеческом аудио являются диагностикой, а не строгой нижней границей ошибок на синтетическом.
Фишка из статьи. Таблица 3 отделяет эффект нескольких попыток от эффекта нескольких проверяющих. Для F5-TTS на LibriSpeech ниже сравниваются доли ошибок на одинаковом множестве оцениваемых слов.
| Протокол | Один проверяющий, % | Согласование трёх, % |
|---|---|---|
| Одна попытка N=1 | 1,51 | 0,63 |
| Лучшая по основному проверяющему | 0,71 | 0,38 |
| Успех хотя бы одной из восьми попыток | 0,63 | 0,22 |
Как это читать: показатель «хотя бы одна попытка» не равен качеству реально выдаваемого образца и улучшается уже от объединения решений. В то же время разрыв сохраняется даже при N=1, то есть не объясняется только большим количеством кандидатов. Простое удаление слов, ошибочно распознанных в человеческой речи, тоже смещено: другие модели находят настоящие ошибки синтеза среди этих слов чаще, чем среди оставленных.
Источник. Оригинальное название: Measuring the Verifier's Floor: How Much Apparent Rare-Word Text-to-Speech Error Is ASR Error?. arXiv:2610.31470; полный текст PDF.