Один средний лог-мел-вектор на фонему: простое и быстрое обучение распознавателя на текстах
Для обучения распознавателя на тексте без соответствующей записи необязательно запускать синтезатор речи. Здесь каждую фонему заменяют постоянным спектральным вектором и повторяют его случайное число кадров. Такие условные «записи» проходят весь речевой кодировщик; качество оказывается близко к обучению на нейросетевой синтетической речи, хотя вход совсем не похож на естественную речь.
Метод. Из выравниваний реального обучающего аудио получают средний лог-мел-вектор и медианную длительность каждой фонемы. Текст переводят в фонемы словарём, длительность выбирают из логнормального распределения, добавляют межсловные паузы и SpecAugment. Реальные и текстовые примеры случайно перемешиваются внутри пакета. Каркас Conformer с CTC и авторегрессионным декодером, его критерии и поиск не меняются. Проверяются также обучаемые векторы, дополнительные one-hot-каналы и простой одно-гауссовский HMM вместо сложного MFA.
Результаты. На LibriSpeech 960 ч test-other WER снижается с 4,16 до 3,66%, с внешней языковой моделью с 3,38 до 2,93%. У большой конфигурации с языковой моделью dev-clean/dev-other/test-clean/test-other дают 1,36/2,90/1,52/3,24%. Заявленное ускорение обучения в 1,8 раза относится к сравнению с предыдущей реализацией TTS-инъекции, 130 против 235 ч на четырёх GPU, а не к каждой строке новой таблицы. Акустический путь при этом продолжает обучаться и на настоящих записях.
Ограничения. Английский язык, преимущественно согласованный по области текст и произносительный словарь. Усреднение напрямую по подсловам не дало выигрыша. На Loquacious 2500 и 25000 ч более долгий контроль на аудио восстанавливает сопоставимую часть эффекта; на 2500 ч повторный запуск не улучшает тест без внешней языковой модели. Сравнение полного кодировщика с другими способами по разным публикациям не является контролируемой архитектурной абляцией. Текст не заменяет недостающее парное аудио.
Фишка из статьи. Таблицы 3–4 разделяют два источника правдоподобия условной речи: её спектральное наполнение и временную структуру. Ниже WER без внешней языковой модели на LibriSpeech; значения нельзя смешивать с лучшими результатами большого каркаса.
| Представление и длительности | dev-other WER, % | test-other WER, % |
|---|---|---|
| Средний лог-мел, фонемные длительности | 3,40 | 3,66 |
| Средний лог-мел, равномерно 5–10 кадров | 3,53 | 3,78 |
| One-hot фонемы, постоянно 6 кадров | 3,43 | 3,64 |
| One-hot символы, постоянно 4 кадра | 3,58 | 3,81 |
Как это читать: даже одноразрядного признака достаточно, а фонемные единицы и организация времени важнее реалистичного тембра. Постоянные 60 мс на фонему здесь конкурентоспособны; это не доказательство универсальной ненужности длительностей. У метода нет задачи получить слушабельную речь: он создаёт удобный общий вход для акустического и текстового обучения.
Источник. Оригинальное название: One Mean Log-Mel Vector per Phoneme: Simple and Fast Text Injection for Speech Recognition. arXiv:2610.34623; полный текст PDF.