Распознавание речи Смена языка Оценка качества
arXiv cs.AI

Непальско-английское распознавание речи: подготовка данных и адаптация SraVaani

ArXiv:2611.13512

При распознавании речи со сменой языка модель должна не только узнать слово, но и записать его нужным алфавитом. Авторы адаптируют SraVaani к непальско-английским разговорам, не меняя словарь и выходные слои: цифры и неподдерживаемые знаки превращаются в варианты произнесения, а подходящую метку помогает выбрать исходная модель. Интерес здесь не в новой архитектуре, а в проверке того, как подготовка разметки, обучение кодировщика и правила оценки меняют результат.

Метод. SraVaani — гибрид FastConformer с декодерами TDT и CTC, около 449 млн параметров и словарём SentencePiece из 5 000 элементов. Для каждого числового выражения строят непальские и английские чтения, оставляя не более 32 полных вариантов фразы. Гипотезу исходной модели и варианты приводят к приближённому произносительному представлению латиницей и сравнивают расстоянием Левенштейна; неоднозначные и слишком далёкие случаи отбрасывают. Затем проверяют обратимость токенизации без неизвестных символов и допустимую для CTC длину метки. В основной конфигурации обучают всю сеть с весами потерь 0,7 для TDT и 0,3 для CTC; скорость обучения кодировщика вдвое ниже, чем у декодеров.

Для исходного текста строят варианты произнесения чисел на непальском и английском. Их сравнивают с гипотезой исходной SraVaani в приближённом произносительном представлении. После проверки токенизации полученные метки используются при полной адаптации модели.
Схема по материалам статьи, рис. 2–3 и разделы 3.4–4.3. Зелёным выделены выбор числовых меток и полная адаптация. Словарь и выходные слои не заменяются; ручная проверка остаётся необходимой. Показана подготовка числовой разметки, а не весь сбор корпуса; упаковка данных, SpecAugment и внутренние блоки TDT/CTC опущены. Гипотеза базовой модели служит подсказкой, а не независимым эталоном.

Данные и вычисления. Корпус содержит 172,8 часа из шести областей: чтение, технические лекции, подкасты, новости и беседы, разговоры и интервью. Из них 152,91 часа относятся к обучению, 10,77 — к проверке при обучении и 9,08 — к итоговому тесту из 4 610 фрагментов. Основной шестипроходный запуск занимает около трёх часов на одной RTX 5090; авторы указывают пиковое потребление памяти 19,1 GiB. Это расходы обучения, а не оценка скорости потокового распознавания.

Результаты. На собственном тесте WER снижается с 48,6% без адаптации до 17,1% после шести эпох и до 16,3% после двенадцати; для основного запуска 95%-й интервал составляет 16,6–17,6%. Замороженный кодировщик даёт 25,5%, то есть хуже на 8,4 процентного пункта. Удаление числовых обучающих примеров повышает общий WER до 19,8%, а на 1 125 числовых тестовых фрагментах — с 14,3% до 21,3%. Whisper large-v3-turbo после трёх эпох получает 16,4%; разница с 16,3% у SraVaani статистически незначима по использованной авторами проверке. Поэтому работа показывает сопоставимое качество при меньшей модели, а не доказанное превосходство над Whisper.

Ограничения. Наследованные части корпуса не гарантируют разделения по дикторам: внутридоменная оценка может быть оптимистичной. Выбор числовых меток по выходу самой модели способен закреплять её ошибки; при ранней ручной проверке нашли пять ошибок в 150 числовых фрагментах, после чего правила исправили, но окончательная разметка всё ещё требует независимого прослушивания. Переоформленные эталоны FLEURS также не прошли полную ручную проверку. FLEURS здесь представляет чтение, а не спонтанное смешение языков; Whisper обучался меньше эпох и ещё улучшался. Доверительные интервалы по фрагментам не учитывают зависимость записей одного диктора и разброс между многими запусками.

Фишка из статьи. Одна и та же дообученная модель выглядит лучше или хуже на одних и тех же 586 записях FLEURS в зависимости от того, как записать английские заимствования. В таблице 12 исходные эталоны часто используют деванагари, а альтернативные — латиницу. Смена эталона переворачивает направление изменения WER, но более независимая от письма посимвольная оценка всё равно обнаруживает реальную потерю переноса. Это полезнее простого сообщения об улучшении среднего WER.

Оценка на неизменном аудио FLEURSБез адаптации, %После 6 эпох, %Что меняется
WER по исходным эталонам22,631,1Ухудшение на 8,5 п.п.
WER по смешанным алфавитам30,023,4Улучшение на 6,6 п.п.
CER после латинизации, без пробелов5,17,6Ухудшение на 2,5 п.п.

Как это читать: первые две строки оценивают не разные аудиозаписи, а разные соглашения о правильном тексте. Нельзя выбрать удобную строку и объявить перенос решённой задачей. Последняя строка уменьшает влияние алфавита и границ слов: её ухудшение показывает, что проблема не сводится к написанию. Это диагностический эксперимент, а не независимо выверенный новый эталон смешанной речи.

Источник. Оригинальное название: Nepali-English Code-Mixed Speech Recognition: Data Preparation and Adaptation of a Speech Foundation Model. arXiv:2611.13512; полный текст PDF.

Оригинальная статья на arXiv