Swanada: модульное распознавание речи для двенадцати языков с мобильной моделью меньше 30 МиБ
Swanada уменьшает стоимость локального распознавания двенадцати языков, разделяя общий акустический кодировщик и сменные языковые выходы. Основной результат системный: сохранить многоязычную установку в браузере можно без двенадцати копий всей сети, но переход к маленькому мобильному кодировщику заметно повышает ошибки.
Метод. Есть Conformer-CTC Studio на 115,2 млн параметров и дистиллированный Mobile на 23,56 млн. Выход выбирается явно по языку: 256 подслов плюс CTC blank, отдельные головы размером примерно 515 КиБ. Экспорт ONNX убирает большие постоянные позиционные таблицы, генерируя позиции тригонометрически; точечные свёртки заменяются операциями MatMul, пригодными для INT8 в WASM. Потоковый декодер разделяет подтверждённый префикс и изменяемый конец. Ввод 44,1/48 кГц переводится в 16 кГц, а зависший AudioWorklet контролируется сторожевым таймером.
Результаты. На 960 неизвестных клипах FLEURS и санскрита средний CER равен 8,87% для Studio и 19,23% для Mobile. Первый запуск требует 177,9 и 25,85 МиБ, весь комплект двенадцати языков 183,4 и 31,39 МиБ вместо 2128,5 МиБ независимых больших сетей. В четырёхпоточном CPU-тесте RTF 0,0264 и 0,0097. На 72 потоковых сессиях медиана времени до первого токена 30,63 мс и ни одного пересмотра уже закреплённого префикса.
Ограничения. Внешний тест невелик: 80 клипов на набор; записи совещаний AMI дают CER 41,50% и 51,63%. Язык выбирается извне, смешение языков одной головой не решено. RTF пакетного теста, время вычисления первого токена и акустическая задержка от начала речи не тождественны. Нулевое изменение закреплённого текста обеспечивается правилом подтверждения и само по себе не доказывает его правильность.
Фишка из статьи. Таблица 1 на с. 5 разделяет две разные экономии: общий кодировщик почти без потери точности устраняет копирование весов, а маленький ученик дополнительно экономит память уже ценой качества.
| Конфигурация | Комплект 12 языков, МиБ | Внешний CER, % | RTF CPU, 4 потока |
|---|---|---|---|
| 12 больших независимых моделей | 2128,5 | 8,87 | 0,0264 |
| Общий Studio и головы | 183,4 | 8,87 | 0,0264 |
| Общий Mobile и головы | 31,39 | 19,23 | 0,0097 |
Как это читать: Экономию хранения в 11,6 раза не следует смешивать с 67,8-кратной экономией малого варианта: у них разная точность. Подтверждённая техническая оптимизация здесь разделение модели, а не утверждение, что 25-МиБ сеть сохраняет качество исходной большой системы.
Источник. Оригинальное название: Swanada: Split-Encoder Capability-Routed Conformer CTC and Sub-30 MB On-Device Speech Recognition Across Twelve Scripts. arXiv:2611.13814; полный текст PDF.