TeleASR-Amharic: проверка амхарского распознавания в шуме и телефонных каналах
Хорошее распознавание чистой малоресурсной речи не гарантирует пригодности к телефонной поддержке. TeleASR-Amharic разделяет шум, уровень микрофона и имитацию телефонных каналов, чтобы проверить, где меняется порядок сильных моделей. Дополнительно исследуется компромисс между устойчивостью после настройки и качеством на исходном читаемом корпусе.
Метод. По материалам Ethio Telecom создаются сценарии обслуживания, которые проверяют эксперты и озвучивают восемь оплачиваемых участников на смартфоны в студии. Получены 15 965 реплик, 30,63 часа; сценарии синтетические, голоса настоящие. К ним применяются шум, ослабление, амплитудная модуляция, полосовые ограничения, компрессия и выпадения длительностью десятки–сотни миллисекунд. Есть фиксированные и случайные параметры канала. Модели оцениваются по восьми условиям; отдельно расширяются обучающие данные и доля специального зашумления до 10 или 40%.
Результаты. Ethio-ASR-Amharic имеет средний WER 46,57% по условиям против 53,98% у многоязычного варианта 600M. Однако на чистой студийной речи лучше OmniASR-LLM-7B: 31,59% против примерно 40,57%. В узкой полосе с потерями лучшая из перечисленных исходных моделей OmniASR-CTC-7B всё ещё имеет WER 68,03%. Расширенные данные с 10%-ной аугментацией снижают ошибку выбранного базового распознавателя в тяжёлом условии с 79,4 до 60,7%, на 23,6% относительно исходной. На WAXAL он при этом ухудшается с 23,2 до 25,8%.
Ограничения. Реальные клиентские записи не публикуются из-за чувствительных данных, поэтому проверка основана на инсценировке и искусственных искажениях. Восемь участников и два представленных варианта амхарского не покрывают разнообразие сети. Названия VoLTE и 2G обозначают разработанные преобразования, а не полный измеренный тракт всех реальных кодеков. Число 23→79% сравнивает разные условия, не абсолютную эффективность лечения шума; перенос на настоящие звонки требует отдельного теста.
Фишка из статьи. Ранжирование по чистой речи переворачивается при смене канала. Ниже одна и та же пара моделей до и после условно широкополосного телефонного преобразования.
| Модель | WER студия, % | WER телефонный канал, % | Рост, п.п. |
|---|---|---|---|
| Ethio-ASR-Amharic | 40,57 | 49,29 | 8,72 |
| OmniASR-LLM-7B | 31,59 | 84,33 | 52,74 |
Как это читать: более крупная модель здесь выигрывает исходное студийное сравнение, но значительно сильнее зависит от канала. Это аргумент за отдельную оценку телефонных преобразований, а не за универсальное преимущество маленьких систем. Случайные параметры фильтра и выпадений нужны, чтобы не оптимизироваться только под одну фиксированную полосу.
Источник. Оригинальное название: TeleASR-Amharic: A Benchmark for Robust Amharic ASR in Realistic Telecommunication Conditions. arXiv:2610.26448; полный текст PDF.