GigaSpeech 3: слабая разметка для распознавания пяти арабских диалектов в масштабе 39 тыс. часов

GigaSpeech 3 переводит несколько десятков часов ручной разметки на диалект в крупный корпус автоматически размеченной веб-речи. Авторы проверяют ценность не только качеством исходного разметчика, но и обучением нового распознавателя с нуля на выпущенных парах. Это важное различие: хороший учитель ещё не гарантирует пригодный для повторного использования корпус.

Метод. Для алжирского, египетского, иракского, саудовского и сирийского вариантов используются примерно 51–63 часа ручной разметки каждого. Первичный распознаватель формирует дискретные цели, затем новый кодировщик предобучают на неразмеченной речи и подстраивают по исходным текстам. Слабые гипотезы проходят фильтрацию; для Саудовской Аравии и Сирии добавляют четыре цикла noisy student. В итоговом корпусе 39 028 часов и около 10 млн сегментов. Разделение по каналам источников сильнее обычного случайного разбиения фраз, но не гарантирует абсолютного отсутствия повторяющихся людей на разных каналах.

Результаты. Специализированные Zipformer достигают средней по пяти диалектам WER 23,86% на GigaSpeechBench против 28,62% у сильнейшего сравниваемого стороннего решения с полным покрытием. Это относительное снижение 16,6%, не 16,6 процентного пункта. Универсальная модель с автоматически определяемым диалектом даёт 25,51%. На восьми внешних условиях её средняя WER составляет 31,95%, а адаптация Qwen3-ASR снижает среднюю внешнюю ошибку с 47,10% до 37,78%. Значит, данные полезны и за пределами одного обученного семейства.

Ограничения. Метки диалектов грубые, на уровне страны, а внутри записей возможны литературный арабский и переключения языков. Веб-материал не представляет все социальные группы и разговорные условия. Итеративное уточнение применено не ко всем пяти разделам одинаково. Автоматическая разметка содержит систематические ошибки, а орфографическая нормализация заметно влияет на WER. Нет оснований считать корпус заменой небольшим тщательно размеченным фонетическим и микродиалектным коллекциям.

Фишка из статьи. Таблица VI отделяет ошибку распознавания от ошибки выбора диалекта в одной универсальной модели. Строка «w/o LID» в статье на практике означает предсказанный диалект; «w/ LID» использует истинную метку и служит диагностикой.

Как это читать: точное знание диалекта помогает по-разному: 3,64 пункта на египетском против 0,19 на саудовском. Самая низкая точность классификации коротких саудовских записей ещё не означает максимального ущерба WER. Для внедрения нужно измерять цену неправильного маршрута, а не оптимизировать один показатель определения языка отдельно от распознавания.

Источник. Оригинальное название: GigaSpeech 3: Scaling Multi-Dialect Arabic Speech Recognition with Weakly Labeled Data. arXiv:2611.02476; полный текст PDF.