Агентный отбор данных для многоязычного распознавания речи

Средний WER не объясняет, нужны ли модели дополнительные примеры звуковых противопоставлений, окончаний или служебных слов. Здесь языковой агент получает такую диагностику после раунда обучения и выбирает, какие языки, реплики и токены предъявлять дальше. Проверяется адаптивное управление существующими алгоритмами отбора, а не новый акустический кодировщик.

Метод. Рецепт соединяет три уровня: веса языков DoReMi/Exp-Reweight/DOGE, выбор реплик LESS или по фонетическим ошибкам и токенные RHO-1/TOSS. Для фонетики расшифровки переводятся eSpeak NG в IPA, анализируются одно-, двух- и трёхфонемные последовательности; морфологию и синтаксис описывают отдельные эвристики. Агент возвращает структурированный план с параметрами и обоснованием. Whisper-medium адаптируется LoRA ранга 64 на 600 часах Common Voice, по 50 часов на 12 языков, включая русский и белорусский.

Результаты. При одинаковых 1200 часах предъявленного обучающего аудио средняя ошибка уменьшается с 23,9% без отбора до 22,5% при случайных раундах и 19,4% при агентных раундах по 300 часов. Это смесь WER десяти языков и CER китайского и японского, не единый WER. Испанский улучшается с 20,5 до 12,6%, португальский с 18,7 до 11,6%. Все варианты используют одинаковую архитектуру и оптимизатор на восьми Ascend 910B.

Ограничения. Нет полной абляции диагностической рубрики и отдельных алгоритмов, сравнения с лучшим заранее фиксированным их сочетанием или оценки устойчивости по нескольким запускам. Не приведена сопоставимая стоимость агентных вызовов, получения градиентных признаков и диагностики. Равенство часов аудио не означает равенства времени или энергии. Данные разработки и теста описаны отдельно, но источник каждой обратной связи и настройки агента раскрыты недостаточно для строгого аудита. Эвристические морфологические метки тоже могут ошибаться.

Фишка из статьи. Более частый пересмотр плана не оказался безусловно полезным. В таблице 2 варианты по 100 и 300 часов имеют одинаковый общий бюджет, но соответственно 12 и четыре раунда. Приведены ошибки в процентах.

Как это читать: средний победитель не лучший для каждого языка. Частая переоценка помогает русскому, но ухудшает белорусский даже относительно равномерного обучения. Поэтому практическая политика должна контролировать минимальное качество каждого языка и полную вычислительную цену. Снижение числа ошибок порядка слов с трёх до одной в другом анализе слишком мало для вывода о систематическом улучшении синтаксиса.

Источник. Оригинальное название: Agentic Data Sampling Framework for Multilingual ASR via Linguistic-Aware Error-Driven Optimization. arXiv:2610.36538; полный текст PDF.