Бенчмарки распознавания речи
Сравнение с другими моделями на одинаковых записях. Выберите язык, чтобы посмотреть результаты и условия теста.
Русские модели
Сравнение русскоязычного распознавания на выборке успешно обработанной телефонной речи.
Телефонная речь
Тест от
Выборка успешно обработанных телефонных записей с ручными эталонами. Для всех моделей использованы одинаковые записи.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-HeavyНаша модель | 11,90% |
| GigaAM v3 RNNT | 14,29% |
| SpeechExpert-STT-RUНаша модель | 15,28% |
| Yandex SpeechKit v3 | 17,66% |
| T-One + KenLMHF: t-tech/T-one | 18,25% |
| ElevenLabs Scribe v2 | 21,83% |
| Qwen3-ASR-1.7BHF: Qwen/Qwen3-ASR-1.7B | 23,81% |
| Whisper Podlodka TurboHF: bond005/whisper-podlodka-turbo | 24,21% |
Как считали WER
Micro WER: сумма минимальных ошибок по выборке, делённая на число слов эталона. NFKC, без учёта регистра; ё→е; пунктуация и символы заменяются пробелами. Числа не переводятся в слова. Одинаковая обработка эталонов и всех ответов.
Что учитывать при сравнении
- Исходные ручные аннотации набора сохранены без изменений; новая акустическая вычитка не проводилась.
- Выборка ранее использовалась в экспериментах; независимость от обучения и разработки моделей не установлена.
- Все строки внутри таблицы оценены на одних и тех же записях и эталонах. Сохранён штатный режим обработки фрагментов; обработка целого файла отдельно может дать другой результат.
SpeechExpert-STT-HY-Large
Результаты исследовательского профиля на тестовой выборке армянской речи.
Армянская речь
Тест от
Тестовая выборка коротких записей армянской речи с сопоставленными эталонными текстами.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-HY-LargeНаша модель | 21,76% |
| ElevenLabs Scribe v2 | 34,73% |
| Mhery RNNTHF: mheryerznka/stt_arm_fastconformer_hybrid_large_no_pc | 44,11% |
Как считали WER
Micro WER для всех моделей: одинаковая нормализация регистра, армянских лигатур, пунктуации и пробелов в эталонах и ответах. Числа не преобразовывались, слова не исправлялись.
Что учитывать при сравнении
- Все модели распознавали одинаковые исходные фрагменты. Результат при обработке целого файла в стандартном режиме каждой модели может отличаться.
- Пересечение исходных данных с обучающими наборами Open Source моделей не проверялось.
SpeechExpert-STT-TG-Large
Сравнение на тестовых выборках. Условия оценки указаны отдельно для каждой таблицы. Whisper Turbo Tajik (re-skill) проверен 23 октября 2026 на тех же записях; остальные результаты сохранены от 21 октября 2026.
FLEURS, таджикский
Тест от
Тестовая выборка таджикской читаемой речи из FLEURS.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-TG-LargeНаша модель | 10,12% |
| Whisper Turbo Tajik (re-skill)HF: re-skill/whisper-large-v3-turbo-tj | 11,01% |
| ElevenLabs Scribe v2 | 11,21% |
| vosk 0.61 TajikHF: alphacep/vosk-model-tajik | 14,98% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. NFC, регистр не учитывается; сохраняются буквы и цифры, остальное заменяется пробелами. Числа не разворачиваются в слова. Одинаковая обработка эталона и всех ответов.
Что учитывать при сравнении
- Читаемая речь, не телефонные звонки.
- Ранее изученная выборка; пересечение с обучением моделей не исключено.
- Whisper Turbo Tajik (re-skill) дообучен на FLEURS. Автор не уточняет использованный раздел датасета; пересечение с тестовой выборкой не исключено.
Разговорная речь
Тест от
Таблица транскрипций поставляемого тестового датасета; происхождение как ручной разметки не установлено.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-TG-LargeНаша модель | 46,42% |
| vosk 0.61 TajikHF: alphacep/vosk-model-tajik | 54,72% |
| Whisper Turbo Tajik (re-skill)HF: re-skill/whisper-large-v3-turbo-tj | 65,28% |
| ElevenLabs Scribe v2 | 78,11% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. NFC, регистр не учитывается; пунктуация заменяется пробелами. Числа не разворачиваются в слова. Одинаковая обработка эталона и всех ответов.
Что учитывать при сравнении
- Эталоны — таблицы транскрипций, переданные вместе с датасетами. Новая ручная сверка дословности с аудио не проводилась; происхождение разметки как ручной не подтверждено.
- Ранее изученная выборка; это не проверка на новых данных.
- Выводы относятся к выбранным фрагментам; независимость от данных обучения всех моделей не установлена.
YouTube
Тест от
Таблица транскрипций поставляемого тестового датасета; происхождение как ручной разметки не установлено.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-TG-LargeНаша модель | 32,25% |
| vosk 0.61 TajikHF: alphacep/vosk-model-tajik | 38,76% |
| Whisper Turbo Tajik (re-skill)HF: re-skill/whisper-large-v3-turbo-tj | 46,45% |
| ElevenLabs Scribe v2 | 73,67% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. NFC, регистр не учитывается; пунктуация заменяется пробелами. Числа не разворачиваются в слова. Одинаковая обработка эталона и всех ответов.
Что учитывать при сравнении
- Эталоны — таблицы транскрипций, переданные вместе с датасетами. Новая ручная сверка дословности с аудио не проводилась; происхождение разметки как ручной не подтверждено.
- Ранее изученная выборка; это не проверка на новых данных.
- Выводы относятся к выбранным фрагментам; независимость от данных обучения всех моделей не установлена.
SpeechExpert-STT-KY-Large
Сравнение на тестовых выборках. Условия оценки указаны отдельно для каждой таблицы.
FLEURS · базовая оценка
Тест от
Тестовая выборка кыргызской читаемой речи из FLEURS.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-KY-LargeНаша модель | 7,53% |
| ElevenLabs Scribe v2 | 8,13% |
| GigaAM MultilingualHF: ai-sage/GigaAM-Multilingual | 9,34% |
| Vosk Kyrgyz | 18,67% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. NFKC; регистр не учитывается, пунктуация и символы заменяются пробелами. Цифровая и словесная запись чисел остаются разными словами.
Что учитывать при сравнении
- Обе таблицы относятся к одной и той же выборке; меняются только правила оценки.
- Читаемая речь, не телефонные звонки.
- Нормализация чисел и технических кодов — оценочные правила для этой выборки, а не универсальная нормализация любого кыргызского текста.
- Выборка ранее использовалась для сравнения вариантов; независимость от обучения всех моделей не установлена.
FLEURS · числа и технические обозначения
Тест от
Тестовая выборка кыргызской читаемой речи из FLEURS.
| Модель | WER↓ меньше — лучше |
|---|---|
| GigaAM MultilingualHF: ai-sage/GigaAM-Multilingual | 4,37% |
| SpeechExpert-STT-KY-LargeНаша модель | 4,52% |
| ElevenLabs Scribe v2 | 7,87% |
| Vosk Kyrgyz | 16,33% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. Как в базовой оценке, дополнительно одинаково преобразуются числа в слова и учитываются произнесённые названия букв в технических кодах. Это зафиксированные оценочные правила для этой выборки.
Что учитывать при сравнении
- Обе таблицы относятся к одной и той же выборке; меняются только правила оценки.
- Читаемая речь, не телефонные звонки.
- Нормализация чисел и технических кодов — оценочные правила для этой выборки, а не универсальная нормализация любого кыргызского текста.
- Выборка ранее использовалась для сравнения вариантов; независимость от обучения всех моделей не установлена.
SpeechExpert-STT-KK-Large
Сравнение на тестовых выборках. Условия оценки указаны отдельно для каждой таблицы. Исследовательский ROVER объединяет результаты GigaAM Multilingual, NVIDIA FastConformer KK/RU, Sybyrla и Abilmans KSC2. Во всех приведённых сравнениях ROVER использован одинаковый состав и равное голосование моделей; веса по эталонам не подбирались.
KSC, читаемая речь
Тест от
Исходные тексты датасета KSC, без исправлений по результатам моделей.
| Модель | WER↓ меньше — лучше |
|---|---|
| ROVER · исследовательский вариантПроверенный исследовательский вариант; не отдельная модель в каталоге сервиса. | 3,59% |
| SpeechExpert-STT-KK-LargeНаша модель | 4,07% |
| GigaAM MultilingualHF: ai-sage/GigaAM-Multilingual | 4,55% |
| NVIDIA FastConformerHF: nvidia/stt_kk_ru_fastconformer_hybrid_large | 5,33% |
| SybyrlaHF: InflexionLab/sybyrla | 5,91% |
| Abilmans KSC2HF: abilmansplus/whisper-turbo-ksc2 | 6,30% |
| ElevenLabs Scribe v2 | 7,95% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. Единая нормализация чисел в казахские слова и визуально совпадающих латинских букв внутри кириллических слов, одинаково для эталона и всех ответов.
Что учитывать при сравнении
- Ранее изученная выборка; пересечение с обучением моделей не исключено.
Казахско-русская речь: письменный эталон
Тест от
Две ранее зафиксированные версии эталона одних и тех же записей: письменная и дословная; не объединять как независимые записи.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-KK-LargeНаша модель | 5,29% |
| GigaAM MultilingualHF: ai-sage/GigaAM-Multilingual | 6,24% |
| ROVER · исследовательский вариантПроверенный исследовательский вариант; не отдельная модель в каталоге сервиса. | 6,99% |
| SybyrlaHF: InflexionLab/sybyrla | 9,26% |
| Abilmans KSC2HF: abilmansplus/whisper-turbo-ksc2 | 9,45% |
| NVIDIA FastConformerHF: nvidia/stt_kk_ru_fastconformer_hybrid_large | 9,64% |
| ElevenLabs Scribe v2 | 15,50% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. Единая нормализация чисел в казахские слова и визуально совпадающих латинских букв внутри кириллических слов, одинаково для эталона и всех ответов.
Что учитывать при сравнении
- Письменный и дословный эталоны этой же речи приведены отдельно; они дают разные оценки.
Казахско-русская речь: дословный эталон
Тест от
Две ранее зафиксированные версии эталона одних и тех же записей: письменная и дословная; не объединять как независимые записи.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-KK-LargeНаша модель | 15,04% |
| GigaAM MultilingualHF: ai-sage/GigaAM-Multilingual | 15,98% |
| ROVER · исследовательский вариантПроверенный исследовательский вариант; не отдельная модель в каталоге сервиса. | 17,29% |
| SybyrlaHF: InflexionLab/sybyrla | 18,42% |
| NVIDIA FastConformerHF: nvidia/stt_kk_ru_fastconformer_hybrid_large | 19,36% |
| Abilmans KSC2HF: abilmansplus/whisper-turbo-ksc2 | 19,55% |
| ElevenLabs Scribe v2 | 21,99% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. Единая нормализация чисел в казахские слова и визуально совпадающих латинских букв внутри кириллических слов, одинаково для эталона и всех ответов.
Что учитывать при сравнении
- Письменный и дословный эталоны этой же речи приведены отдельно; нельзя выбирать только более удобный показатель.
YouTube, выступления
Тест от
Тестовая выборка казахской речи из видеовыступлений.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-KK-LargeНаша модель | 11,26% |
| ROVER · исследовательский вариантПроверенный исследовательский вариант; не отдельная модель в каталоге сервиса. | 12,14% |
| GigaAM MultilingualHF: ai-sage/GigaAM-Multilingual | 12,91% |
| Abilmans KSC2HF: abilmansplus/whisper-turbo-ksc2 | 13,59% |
| ElevenLabs Scribe v2 | 13,59% |
| SybyrlaHF: InflexionLab/sybyrla | 14,47% |
| NVIDIA FastConformerHF: nvidia/stt_kk_ru_fastconformer_hybrid_large | 16,12% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. Единая нормализация чисел в казахские слова и визуально совпадающих латинских букв внутри кириллических слов, одинаково для эталона и всех ответов.
Что учитывать при сравнении
- Эталоны — опубликованные авторские субтитры; новая ручная сверка дословности с аудио не выполнена.
- Редакционные изменения и неточные границы субтитров могут повышать WER.
MCSKL, разговорная речь
Тест от
Тестовая выборка разговорной речи из размеченного Zoom-интервью MCSKL.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-KK-LargeНаша модель | 24,42% |
| GigaAM MultilingualHF: ai-sage/GigaAM-Multilingual | 26,75% |
| SybyrlaHF: InflexionLab/sybyrla | 31,67% |
| NVIDIA FastConformerHF: nvidia/stt_kk_ru_fastconformer_hybrid_large | 32,39% |
| ElevenLabs Scribe v2 | 33,36% |
| Abilmans KSC2HF: abilmansplus/whisper-turbo-ksc2 | 34,09% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. Единая нормализация чисел в казахские слова и визуально совпадающих латинских букв внутри кириллических слов, одинаково для эталона и всех ответов.
Что учитывать при сравнении
- Эталоны — исходная ручная разметка корпуса; новая акустическая вычитка в ходе эксперимента не проводилась.
- Zoom-разговор, не узкополосная телефония.
- В интервью есть одновременная речь: линейный порядок слов в эталоне может быть неоднозначным.
- Основная оценка включает всю заранее размеченную пригодную речь, а не только фрагменты без перекрытия.
- Неразборчивые и неразмеченные участки исключались до распознавания.
SpeechExpert-STT-UZ-Large
Сравнение на тестовых выборках. Условия оценки указаны отдельно для каждой таблицы.
YouTube: BBC Uzbek и Ozodlik
Тест от
Издательские субтитры источников BBC Uzbek/Ozodlik, без новой ручной проверки дословности.
| Модель | WER↓ меньше — лучше |
|---|---|
| SpeechExpert-STT-UZ-LargeНаша модель | 24,79% |
| GigaAM UZHF: rustam1221/uzbek-asr-gigaam | 27,57% |
| GigaAM MultilingualHF: ai-sage/GigaAM-Multilingual | 28,66% |
| Whisper-Kotib-UZHF: Kotib/uzbek_stt_v1 | 31,56% |
| SpeechExpert-STT-UZНаша модель | 31,80% |
| Whisper-Callcenter-UZHF: Abduqayum/whisper-uzbek-medium-callcenter | 32,04% |
| Uzinfocom-FastConformer-UZHF: uzinfocom-edu-ai/asr-uz-fastconformer-large | 34,70% |
Как считали WER
Micro WER: сумма ошибок по выборке, делённая на число слов эталона. NFC, без учёта регистра; ё→е, одинаковая запись апострофов. Форматы чисел, дат и времени сохраняются; без перевода чисел в слова и транслитерации. Одинаковый алгоритм для эталона и всех ответов.
Что учитывать при сравнении
- Эталоны — опубликованные субтитры без новой ручной сверки дословности с аудио.
- Ранее использованная выборка; полная независимость от предобучения и предшествующих версий моделей не установлена.
- Показаны результаты текущего продуктового прогона, включая текущую версию SpeechExpert-STT-UZ.
Проверьте на своей записи
Бенчмарк помогает сравнить модели в условиях теста. Своя запись покажет, как модель справляется с вашей задачей.