Monsoon: масштабируемый сбор спонтанной речи для распознавания на малоресурсных языках
Для разговорного распознавания ещё одна архитектура иногда менее полезна, чем правильно собранные разговоры. Monsoon организует непредписанную беседу двух людей, многоступенчатую проверку расшифровки и отбор по акустическому и словарному покрытию. Работа разделяет эффект количества часов и эффект процесса подготовки, а не объясняет весь выигрыш масштабом корпуса.
Метод. Участники разговаривают со своих телефонов 10–20 минут, каждый записывается отдельным каналом. Тематический план поддерживает разговор, но не задаёт готовые фразы. Автоматические проверки языка, записи и постороннего медиа дополняют пять уровней человеческой проверки, включая переключение языков, имена и спорные произношения. Сегменты выбираются по длительности, DNSMOS и редкости слов. Собраны данные для 50 языков; подробные эксперименты охватывают семь корпусов примерно по 3500 часов и настройки Whisper-medium, а также перенос на SraVaani.
Результаты. При одинаковых 1000 часах и способе записи полный процесс уменьшает семантический WER на 10–39% относительно одной обычной стадии транскрибирования. На IndicVoices средняя семантическая ошибка Whisper-medium снижается с 81,9 до 13,0% после настройки на Monsoon; на отдельных языках она составляет 10,0–16,1%. Сравнение с архитектурно совпадающей IndicWhisper показывает близкое качество на её исходных источниках и преимущество 20–44 пункта на независимой разговорной речи. Дополнительная настройка SraVaani даёт относительное уменьшение ошибки на 13–28% по четырём языкам.
Ограничения. Используется семантический WER с моделью-судьёй, а не обычная буквальная ошибка слов; для Voice of India дополнительно применяется орфографическая поправка. Обучающие режимы основного сравнения не полностью идентичны. Независимая оценка не охватывает все 50 языков, полные корпуса не заявлены общедоступными: десятичасовые образцы предлагаются по запросу. На части читаемых тестов SraVaani после настройки ухудшается до 0,4 пункта, то есть перенос не бесплатен.
Фишка из статьи. Корпус составляют не из первых подходящих часов. Конкретные ограничения процесса показывают, как авторы борются с доминирующими дикторами, повторяющимися темами и шумной разметкой.
| Этап | Число или правило | Назначение |
|---|---|---|
| Доля одного диктора | менее 0,2% корпуса | Не дать нескольким голосам заполнить набор |
| После фильтрации и транскрибирования | сохраняется около 67% записи | Удалить непригодный материал |
| Проверенный пул перед отбором | примерно в 10 раз больше финала | Выбирать покрытие, а не только доступность |
| Аудит разметчика | не менее 98% корректных в выборке | Допуск его сегментов в корпус |
Как это читать: правило 98% является порогом аудита, а не доказанной точностью каждой записи. Редкие шумные и короткие условия сохраняются отдельным хвостом, иначе отбор только по высокому качеству сделал бы тестовую эксплуатацию чужой областью. Эти детали объясняют, почему равное число часов может давать разный перенос.
Источник. Оригинальное название: Monsoon: Scalable Spontaneous Speech Collection for Low-Resource ASR in 50 Languages. arXiv:2610.26776; полный текст PDF.