Перейти к содержанию

Потоковое распознавание — WebSocket

WebSocket STT принимает звук из микрофона или готовой записи. Клиент отправляет бинарные PCM-фреймы, а сервер возвращает JSON с промежуточным и финальным текстом по мере обработки.

wss://api.speech.example.com/api/stt/v1/ws

Для длинных записей есть отдельный маршрут. Клиент передаёт исходный аудио- или видеоконтейнер частями и получает промежуточный и финальный текст по мере обработки:

wss://api.speech.example.com/api/stt/v1/file-stream/ws

В отличие от файловых методов, поток не сохраняет запись или транскрипт и не создаёт операцию. Коррекция LLM, NER и суммаризация здесь не выполняются. Для обоих маршрутов можно включить потоковую диаризацию начальной настройкой API; переключателя в браузерном интерфейсе пока нет.

Аутентификация

Используйте один из способов:

  • Authorization: Api-Key <ключ> или Authorization: Bearer <ключ>;
  • cookie активной portal-сессии;
  • legacy query-параметр ?api_key=<ключ>.

Для новых клиентов предпочтителен заголовок: query string может попасть в access-логи. Если анонимный доступ запрещён, соединение без аутентификации закрывается с кодом 1008.

Для /api/stt/v1/file-stream/ws при кредитном биллинге всегда требуется аутентификация, чтобы списание было связано с пользователем.

В начальном JSON обоих маршрутов можно передать "privacy_mode": true. Для внешнего Scribe Realtime при этом требуется "external_ai_consent": true; без согласия сервер возвращает external_ai_consent_required до передачи аудио провайдеру. Также принимаются имена privacyMode и externalAiConsent. Например:

{"language":"ru-RU","model":"ElevenLabs-Scribe-v2-Realtime","privacy_mode":true,"external_ai_consent":true}

В файловом маршруте добавьте эти поля в сообщение start.

Перед распознаванием сервер проверяет, что на балансе достаточно кредитов хотя бы на одну секунду STT. Обычный PCM-маршрут при отказе отправляет {"error":"...","code":"insufficient_credits"} и закрывает соединение с кодом 1008; маршрут длинного файла отправляет событие error и закрывается с кодом 4003. Дальнейший способ списания зависит от выбранного маршрута.

Длинный файл из браузера

Маршрут /api/stt/v1/file-stream/ws принимает исходный файл последовательными бинарными сообщениями размером не более 4 МиБ. Это отдельный протокол от PCM-потока: после начальной конфигурации отправляйте байты аудио- или видеоконтейнера. Распознавание идёт по мере обработки поступивших данных; клиент одновременно отправляет файл и читает ответы.

Предварительная конвертация не нужна: сервер определяет контейнер и декодирует аудиодорожку через FFmpeg. Поддерживаются M4A/M4B, OGG/Opus, MP3, WAV, FLAC, AAC, WebM, WMA/ASF, AIFF, CAF, а также видео с аудиодорожкой (MP4, MOV, MKV, AVI, MPEG, 3GP/3G2). Конкретный кодек должен поддерживаться установленным FFmpeg; повреждённый файл или контейнер без аудиодорожки вернёт ошибку декодирования. Поддержка воспроизведения этого формата в браузере для распознавания не требуется.

Первое сообщение обязательно задаёт сеанс:

{
  "type": "start",
  "filename": "recording.mp3",
  "file_size": 1199868928,
  "content_type": "audio/mpeg",
  "language": "kk-KZ",
  "channel_mode": "mono",
  "diarization": false,
  "llm_correction": false,
  "deepfake_analysis": false,
  "emotion_analysis": false
}

Достаточно указать language: режим распознавания выбирается автоматически. Если язык не передан, используется русский. Поле model необязательно; если оно задано, значение должно соответствовать языку:

Язык Значение language Значение model, если указано явно
Русский ru-RU T-One
Английский en-US Parakeet-EN
Казахский kk-KZ SpeechExpert-STT-KK-stream
Кыргызский ky-KG GigaAM-Multilingual-Large-CTC
Узбекский uz-UZ SpeechExpert-STT-UZ-stream
Таджикский tg-TJ SpeechExpert-STT-TG-stream
Армянский hy-AM Mhery-RNNT

Для армянского Mhery-RNNT выдаёт предварительный текст и уточнённые финалы по ходу обработки. Оставьте final_model равным model или не передавайте его: повторное отдельное уточнение не требуется. Сохраняется и явный совместимый маршрут Zipformer-Streaming / hy-AM с собственными финалами.

Вместо локальной модели можно явно выбрать ElevenLabs-Scribe-v2-Realtime (алиас scribe_v2_realtime). Она принимает 75 языков сервиса:

{"type":"start","filename":"recording.mp3","language":"ru-RU","model":"ElevenLabs-Scribe-v2-Realtime","diarization":false}

Для Realtime final_model должен быть пропущен или совпадать с model. Окончательный текст выдаёт Realtime без файлового уточнения через Scribe v2 или Medical. Аудио передаётся ElevenLabs; подробности — в обзоре Realtime.

Для кыргызской, узбекской, английской или таджикской записи замените language в примере на ky-KG, uz-UZ, en-US или tg-TJ. Неподдерживаемый язык или несовместимое значение model отклоняется до передачи файла.

Поле final_model также необязательно: по умолчанию оно совпадает с выбранным model, и клиент получает итог каждой фразы без дополнительной настройки. Для английского, казахского, кыргызского, узбекского, таджикского и армянского языков допускается только это совпадающее значение. Для русского можно отдельно выбрать совместимый режим уточнения, например:

{"type":"start","language":"ru-RU","final_model":"SpeechExpert-STT-RU"}

Для локального уточнения через GigaAM v3 RNNT выберите его в том же поле:

{"type":"start","language":"ru-RU","model":"T-One","final_model":"GigaAM-v3-RNNT","diarization":false}

RNNT уточняет завершённые фразы и возвращает текст с пословными таймкодами кадров эмиссии декодера (rnnt_emission_frames). При ошибке уточнения сохраняется текст потока с refinement_status: "fallback". Без явного final_model этот режим не включается.

Локальный кыргызский поток уточняет итог каждой фразы автоматически; отдельное значение final_model не требуется. Например, достаточно {"type":"start","language":"ky-KG"}. Partial следующей фразы может прийти до final предыдущей. Используйте phrase_id из этих событий, чтобы final очищал только предварительный текст своей фразы, в том числе при пустом итоговом тексте.

Для локального таджикского потока текст окончательных фраз возвращается без автоматической пунктуации и нормализации. Таймкоды обозначают границы аудиофрагментов.

Звук из файла распознаётся в mono. Если поле channel_mode передано, оно должно равняться "mono"; другие значения отклоняются с unsupported_channel_mode. Перед сведением многоканального файла применяется декорреляция для защиты от гашения речи в противофазе. Одноканальное аудио сохраняется без фильтрации. Для диаризации передайте "diarization": true; при этом final_model должен совпадать с model или быть пропущен. Отдельное уточнение текста отклоняется с unsupported_diarization_refinement. LLM-коррекция должна быть выключена, иначе start завершается ошибкой llm_correction_not_supported. Сервер также ограничивает объявленный и фактически принятый файл 10 ГиБ.

Дождитесь ready перед отправкой бинарных чанков исходного файла. После последнего чанка завершите ввод сообщением {"type":"eof"} и продолжайте читать ответы до completed, чтобы получить итог оставшейся фразы. Для остановки используется {"type":"cancel"}.

Для публичной ссылки вместо загрузки файла передайте video_url (алиас videoUrl). Язык и модели выбираются так же:

{"type":"start","video_url":"https://www.youtube.com/watch?v=...","language":"ru-RU","model":"T-One","final_model":"GigaAM-v3-RNNT"}

Сервер сначала скачивает аудио через yt-dlp и отправляет download_progress с этапом stage и счётчиками downloaded_bytes/total_bytes. Затем приходит ready с названием, размером и доступной длительностью записи, после чего начинается поток распознавания. Для ссылки клиент не отправляет бинарные чанки и eof; отмена и закрытие соединения работают на всех этапах. Действуют настроенные ограничения скачивания yt-dlp. Для авторизованного пользователя вне приватного режима аудио и завершённый транскрипт сохраняются в «Моих записях»; ready и completed возвращают recording_id. При privacy_mode: true запись в архиве не создаётся.

Серверные события:

type Назначение
ready Сеанс создан; содержит session_id, language, выбранные streaming_model и recognition_model, параметры аудио и максимальный размер чанка
upload_progress Сколько байт исходного контейнера принято
download_progress Подготовка ссылки и скачивание аудио на сервере: validating_url, extracting_media, downloading_audio, audio_downloaded
progress processed_ms, оплаченная длительность, списанные кредиты и остаток
partial Предварительный текст текущей фразы; refinement_status=pending, если запрошено уточнение
final Итоговый текст фразы; при недоступности отдельно выбранного русского уточнения возвращается предварительный результат с refinement_status=fallback
deepfake_pending При включённой проверке целая окончательная фраза поставлена на анализ; содержит phrase_index
deepfake Оценки или причина пропуска/ошибки одной фразы; сопоставляется с final.segment_index через phrase_index
emotion_pending Аудио русской окончательной фразы поставлено на анализ эмоций
emotion Накопленный результат эмоций с абсолютными таймкодами; заменяет предыдущие поля анализа
completed EOF обработан, запрошенный анализ фраз закончен и финальный биллинг завершён
error Ошибка протокола, декодирования, распознавания или баланса

Анализ дипфейка во время обработки

Передайте "deepfake_analysis": true в start; поддерживается также deepfakeAnalysis. Проверка доступна для загружаемого файла и video_url, включая уточнение русских финалов через GigaAM v3 RNNT. ready подтверждает выбор полем deepfake_analysis.

Окончательный текст приходит в final с индексом segment_index (нумерация с нуля). Анализ аудио выполняется отдельно: следующие partial и final продолжают поступать, пока детектор проверяет предыдущие фразы. Сервер отправляет deepfake_pending, затем deepfake; оба события содержат phrase_index, совпадающий с segment_index соответствующей фразы. Дополнительное phrase_id сохраняет идентификатор фразы распознавателя, если он доступен.

{"type":"deepfake_pending","phrase_index":0,"phrase":{"index":0,"start_ms":0,"end_ms":6200}}
{"type":"deepfake","phrase_index":0,"phrase":{"index":0,"start_ms":0,"end_ms":6200,"score_synth":0.12,"score_orig":0.88,"status":"ready","reason":null},"model":"wav2vec2_deepfake","model_version":"1","protocol":"one_complete_phrase_per_forward"}

Одна целая фраза с её паузами проходит один запрос модели. Фраза длиннее 30 секунд или без доступного полного аудио получает skipped и причину пропуска. Ошибка детектора не отменяет распознавание: оценки остаются null. completed содержит итоговые deepfake_analysis и deepfake_analysis_status в обычном формате STT. Подробнее о значениях оценок и технических пределах — анализ дипфейка.

Эмоции во время обработки

Для русской записи (ru или ru-RU) передайте "emotion_analysis": true в start; поддерживается также emotionAnalysis. Необязательный emotion_threshold (emotionThreshold) задаёт порог отрицательной акустической окраски от 0 до 1. Если он пропущен, применяется серверная настройка EMOTION_NEGATIVE_THRESHOLD. ready подтверждает выбор анализа.

{"type":"start","video_url":"https://www.youtube.com/watch?v=...","language":"ru-RU","final_model":"GigaAM-v3-RNNT","deepfake_analysis":true,"emotion_analysis":true,"emotion_threshold":0.5}

После окончательной фразы сервер отправляет emotion_pending, а затем emotion с её phrase_index и границами. Акустическая модель проверяет аудио этой фразы. Новые результаты STT поступают независимо от этой проверки.

emotion содержит накопленные emotion_analysis и emotion_analysis_status. Заменяйте ими предыдущий снимок анализа; повторно прибавлять окна не нужно. Таймкоды окон, эпизодов, ключевых моментов и пиков уже отсчитываются от начала записи, а индексы ссылаются на окончательные фразы.

Статус partial сохраняет успешные результаты при пропущенных или ошибочных фразах. Пробелы не заполняются нейтральными оценками; эпизоды не соединяются через отсутствующее аудио. metadata.analyzed_duration_ms и metadata.unavailable_duration_ms показывают покрытие, а доли эмоций в session учитывают длительность проанализированного аудио. После завершения очереди completed возвращает тот же накопленный снимок. Описание акустического анализа эмоций — в Emotion API.

При временной недоступности распознавания событие error содержит один из кодов:

code Код закрытия WebSocket Действие клиента
capacity_exceeded 1013 Все доступные сеансы заняты; повторите подключение после паузы
recognition_unavailable 1013 Распознавание временно недоступно; повторите подключение после паузы
recognition_timeout 1011 Истекло время ожидания распознавания; запрос можно повторить в новом соединении

Повторное подключение создаёт новую сессию. Сохраните уже полученные итоговые фразы: предыдущая обработка автоматически не возобновляется. Поля processed_ms, billed_ms и charged_credits в событии ошибки описывают состояние сессии на момент формирования этого события.

Каждый partial заменяет предварительный текст текущей фразы. Получив final, добавьте его текст к итоговому транскрипту и очистите предварительный текст этой фразы. Финалы приходят в порядке записи, по мере завершения фраз. Итоговый текст может отличаться от промежуточного; пустой final также завершает текущую фразу.

Поля start_ms и end_ms, когда они присутствуют, отсчитываются от начала записи. Для локальных казахского, кыргызского, узбекского, таджикского и армянского потоков они обозначают границы обработанного аудиофрагмента, включая паузы; timing_source имеет значение "audio-segment". Это не пословное выравнивание: поле words для этих языков не передаётся.

Кредиты списываются по фактически обработанной длительности аудио с округлением до начатой секунды. При insufficient_credits обработка и загрузка останавливаются, а уже полученные финальные фрагменты остаются у клиента.

Соединение должно оставаться открытым до события completed: при разрыве обработка не продолжается в фоне. Файлы семейства MP4/M4A и CAF, данные для декодирования которых находятся в конце контейнера, поддерживаются: сервер сначала получает файл целиком, затем начинает распознавание. Во время передачи такого файла клиент получает upload_progress, а текст появляется после её завершения.

Выбор способа передачи и получения результата описан в разделе распознавание длинных записей.

Входной поток

Аудио имеет фиксированный формат:

Параметр Значение
Кодирование signed PCM16 little-endian
Частота 16 кГц
Каналы mono

Для длинной записи преобразуйте аудио в этот формат на стороне клиента и передавайте PCM частями. Одновременно читайте ответы: промежуточный текст появляется во время передачи, а итоговые фразы в пофразовых режимах можно сразу добавлять в транскрипт. Не нужно загружать весь исходный файл до появления первого текста. После последнего фрагмента отправьте EOF и дочитайте оставшиеся финалы. Подробнее — распознавание длинных записей.

Первое сообщение может быть JSON-конфигурацией:

{"language":"ru-RU","model":"SpeechExpert-STT-RU"}
Поле По умолчанию Описание
language ru-RU Язык распознавания
model SpeechExpert-STT-RU для русского T-One preview и уточнённые FastConformer 2.11 финалы по ходу разговора
enable_automatic_punctuation false Восстановление пунктуации в финальном тексте, если поддерживается выбранной моделью
privacy_mode false Запрет внешнего STT без отдельного согласия
external_ai_consent false Согласие на передачу звука внешнему провайдеру при включённом privacy_mode

Автоматическое восстановление пунктуации сервисом выключено по умолчанию. Чтобы включить его в PCM-маршруте, передайте логическое значение true в первом сообщении; также принимается имя enableAutomaticPunctuation:

{"language":"ru-RU","model":"SpeechExpert-STT-RU","enable_automatic_punctuation":true}

Восстановление применяется только к финальному тексту; промежуточные результаты не проходят этот шаг. Знаки препинания, уже выданные выбранной моделью, не удаляются. Эта настройка относится к /api/stt/v1/ws.

Конфигурация необязательна: первым сообщением можно сразу отправить бинарный PCM-фрейм. Если первое сообщение не поступило за 30 секунд, сеанс продолжается с настройками по умолчанию.

Русский режим по умолчанию SpeechExpert-STT-RU использует T-One для пофразового предварительного текста и FastConformer 2.11 для уточнения фраз во время разговора. В phrase_id передаётся номер фразы. Каждый is_final: false заменяет только черновик с этим ID; is_final: true добавляет окончательный текст этой фразы. Предварительный текст следующей фразы может прийти раньше предыдущего финала. EOF завершает остаток и дожидается всех уточнений. Если FC вернул пустой текст, используется предварительный текст соответствующей фразы. Исходный звук для FC не нарезается WebRTC VAD. Это поведение backend nemo211; явно настроенный backend Riva сохраняет один итог после EOF.

Чтобы получать прямые пофразовые результаты T-One во время записи, явно выберите T-One:

{"language":"ru-RU","model":"T-One"}

В этом режиме каждый partial заменяет только текущую фразу, а её final можно сразу сохранить в транскрипте. Дополнительного уточнения FastConformer нет. Отдельный файловый маршрут /api/stt/v1/file-stream/ws сохраняет свои настройки по умолчанию. Каноническое публичное имя в ответах — T-One; прежнее имя принимается на входе для совместимости.

Чтобы уточнять финалы живого русского потока через GigaAM v3 RNNT, выберите модель в существующей конфигурации:

{"language":"ru-RU","model":"GigaAM-v3-RNNT"}

Предварительный текст по-прежнему выдаёт T-One, завершённые фразы уточняет RNNT. При недоступности уточнения сохраняется предварительный текст фразы. Успешный финал RNNT содержит нативные пословные таймкоды кадров эмиссии (timing_source: "rnnt_emission_frames"); слова из одного кадра могут пересекаться. Этот выбор доступен только для русского и не меняет режим по умолчанию.

Поддерживаемые языки и результаты

Локальные модели поддерживают следующие языки и возвращают итог каждой завершённой фразы:

Язык Значение language Значение model
Русский, по умолчанию ru-RU SpeechExpert-STT-RU
Русский, прямой пофразовый поток ru-RU T-One
Русский, уточнение финалов RNNT по выбору ru-RU GigaAM-v3-RNNT
Английский en-US Parakeet-EN
Казахский kk-KZ или kk SpeechExpert-STT-KK-stream
Кыргызский ky-KG или ky GigaAM-Multilingual-Large-CTC
Узбекский uz-UZ или uz SpeechExpert-STT-UZ-stream
Таджикский tg-TJ или tg SpeechExpert-STT-TG-stream
Армянский, с уточнением финалов hy-AM или hy Mhery-RNNT
Армянский, прежний поток hy-AM или hy Zipformer-Streaming

Для этих языков и остальных языков курируемого набора 75 языков можно выбрать ElevenLabs-Scribe-v2-Realtime:

{"language":"ru-RU","model":"ElevenLabs-Scribe-v2-Realtime"}

Короткий алиас scribe_v2_realtime также принимается. Формат входа сохраняется: mono PCM16 16 кГц. VAD ElevenLabs завершает фразы по паузам; клиент получает те же is_final: false|true. Окончательный текст ожидает пословных таймкодов провайдера и выдаётся один раз с words и timing_source: "elevenlabs-scribe-realtime". Если таймкоды не пришли вовремя, финал содержит оценённые границы фразы без words. После EOF дочитывание результатов может занять до 15 секунд при стандартной настройке. Дождитесь окончания потока, чтобы получить последнюю фразу. Дополнительного файлового уточнения здесь нет. Сервер передаёт аудио ElevenLabs и использует ELEVENLABS_API_KEY; webhook не нужен. Подробнее — Scribe Realtime.

Идентификаторы в таблице нужны для настройки запроса. Несовместимые сочетания языка и значения model отклоняются. Подробнее о выборе интерфейса — в обзоре потокового распознавания.

Для казахского или узбекского потока отправьте соответственно:

{"language":"kk-KZ","model":"SpeechExpert-STT-KK-stream"}
{"language":"uz-UZ","model":"SpeechExpert-STT-UZ-stream"}

Для таджикского потока используйте:

{"language":"tg-TJ","model":"SpeechExpert-STT-TG-stream"}

Для армянского потока используйте:

{"language":"hy-AM","model":"Mhery-RNNT"}

Также принимается language="hy". Модель выдаёт partial по ходу речи и уточняет финал каждой завершённой фразы. Формат входа — mono PCM16, 16 кГц; для раздельного распознавания stereo используйте gRPC. Для готовых файлов и режима «Текст по мере обработки» в Playground выберите Армянский → Mhery RNNT. Для прежних нативных финалов сохраняется явный запрос {"language":"hy-AM","model":"Zipformer-Streaming"}.

Локальные таджикский и армянский потоки возвращают итог без автоматической пунктуации и нормализации текста, даже если запрошено восстановление пунктуации.

Для кыргызского потока используйте:

{"language":"ky-KG","model":"GigaAM-Multilingual-Large-CTC"}

В локальном кыргызском потоке текст каждой завершённой фразы уточняется отдельно. Partial следующей фразы может прийти раньше final предыдущей. В событиях передаётся phrase_id — целое неотрицательное число в пределах сессии. Храните гипотезы по этому ключу; final очищает только соответствующий partial, включая случай пустого final. Финалы идут в порядке фраз. Это правило действует и для маршрута длинного файла; в остальных режимах поле может отсутствовать.

В пофразовых режимах из таблицы is_final: false содержит текущую предварительную гипотезу фразы: заменяйте ею предыдущую гипотезу. is_final: true завершает фразу: добавляйте её текст к финальному транскрипту и очищайте предварительный текст этой фразы. Итог может отличаться от промежуточной гипотезы. Финалы сохраняют порядок фраз и приходят во время сеанса, без ожидания EOF всей записи. Успешный пустой final также завершает фразу и очищает её предварительный текст. Границы фраз определяются автоматически. При EOF завершается оставшаяся фраза.

Доступны также режимы с уточнением предварительного текста:

Язык Значение model Поведение
Русский, по умолчанию SpeechExpert-STT-RU T-One preview фразы и уточнённый FastConformer 2.11 final по мере обработки
Русский GigaAM-Multilingual-Large-CTC Накопительный промежуточный текст всей записи и один уточнённый итог после завершения ввода
Казахский GigaAM-Multilingual-Large-CTC Предварительный текст текущей фразы и уточнённый итог каждой завершённой фразы

В русских режимах с единственным итогом is_final: false заменяет весь предварительный транскрипт. Если уточнение не дало текста, итогом становится последний предварительный результат.

В узбекском потоке SpeechExpert-STT-UZ-stream предварительный текст выдаёт Zipformer, а каждую завершённую фразу уточняет GigaAM UZ с исходными FP32-весами в Triton, включая оставшийся фрагмент при завершении ввода. is_final: true содержит уже уточнённый результат; LLM не используется. При ошибке уточнения предварительный текст не подменяет финал.

Для казахского потока с уточнением текста отправьте конфигурацию:

{"language":"kk-KZ","model":"GigaAM-Multilingual-Large-CTC"}

Для этого режима действуют те же правила пофразовой обработки результатов.

После всех PCM-фреймов отправьте один из вариантов EOF и продолжайте читать ответы до закрытия потока:

{"event":"eof"}
{"eof":true}

Для Scribe Realtime сервер может дочитывать финалы до 15 секунд после EOF при стандартной настройке. В PCM-маршруте завершение обозначается закрытием WebSocket сервером с кодом 1000, отдельное событие completed не отправляется. Оставьте соединение открытым до этого закрытия, чтобы получить итог последней фразы. В файловом маршруте по-прежнему дождитесь события completed.

Ответы и таймстемпы

Каждое серверное сообщение — самостоятельный JSON-объект. В каждом событии распознавания присутствуют text и is_final; тайминги добавляются, когда они доступны. Сообщения об ошибках имеют отдельную форму без этих полей.

{
  "text": "добрый день",
  "is_final": false,
  "start_ms": 340,
  "end_ms": 1080,
  "timing_source": "native-asr",
  "words": [
    {"text": "добрый", "start_ms": 340, "end_ms": 720},
    {"text": "день", "start_ms": 760, "end_ms": 1080}
  ]
}

start_ms и end_ms отсчитываются от начала входного потока; нулевое начало валидно. Для русского пофразового распознавания timing_source: "native-asr" обозначает границы речи. Для локальных казахского, кыргызского, узбекского, таджикского и армянского потоков timing_source: "audio-segment" обозначает границы обработанного аудиофрагмента, включая паузы; это не точное выравнивание речи или слов. words для этого режима не заполняется. При отсутствии доступного тайминга start_ms, end_ms, timing_source и words опускаются.

В режимах с уточнением текста поле words не передаётся, если для итогового текста неизвестно точное пословное выравнивание. Включённое восстановление пунктуации может изменить text, поэтому words описывает исходные распознанные слова.

Потоковая диаризация

Включите диаризацию в первом JSON-сообщении PCM-маршрута:

В примере выбран прямой T-One. Гибридный SpeechExpert-STT-RU с FastConformer 2.11 также выдаёт диаризованные финалы по ходу записи, после уточнения текста и подтверждения границ дикторов.

{"language":"ru-RU","model":"T-One","diarization":true}

Эквивалентная настройка использует имена полей SpeechKit:

{
  "language": "ru-RU",
  "model": "T-One",
  "speaker_labeling": {"speaker_labeling":"SPEAKER_LABELING_ENABLED"}
}

Для длинного файла добавьте настройку в start; final_model можно пропустить, чтобы он совпал с model:

{
  "type": "start",
  "filename": "conversation.wav",
  "content_type": "audio/wav",
  "language": "ru-RU",
  "model": "T-One",
  "channel_mode": "mono",
  "diarization": true
}

Файловый маршрут сводит вход в mono перед распознаванием и определением дикторов. PCM-маршрут принимает mono PCM16 16 кГц. Состав сообщений и EOF остаются прежними. partial не содержит метки диктора. Когда диаризация зафиксирует интервал речи, final получает совпадающие строковые поля speaker_id и channel_tag:

{
  "text": "добрый день",
  "is_final": true,
  "start_ms": 340,
  "end_ms": 1080,
  "speaker_id": "0",
  "channel_tag": "0"
}

В файловом маршруте такой результат также содержит "type":"final". ID принимает значения от "0" до "7" и сохраняется только внутри текущей сессии. При недостаточной информации о дикторе оба поля опускаются; это возможно и у непустого финального текста. Если слова имеют точные таймкоды и совпадают с текстом, одна фраза может прийти несколькими финальными фрагментами разных дикторов. Поле phrase_id, если оно доступно, сохраняется у всех фрагментов. Если есть только таймкоды фразы, ей назначается один преобладающий диктор. Разделение слов при одновременной речи нескольких людей не гарантируется.

Включённая диаризация учитывается при проверке баланса и списании. Задержка финала зависит от готовности ASR и диаризации; подробнее — в обзоре потоковой диаризации. Эти JSON-маршруты сохраняют собственный протокол; для protobuf-клиента SpeechKit используйте gRPC.

Ошибка распознавания возвращается как {"error":"..."}. Отдельного события done нет: после EOF клиент дочитывает все final-сообщения до закрытия соединения.

Пример Python

import asyncio
import json
import os

import websockets


async def send_audio(ws):
    with open("audio.pcm", "rb") as source:
        while chunk := source.read(3200):  # около 100 мс
            await ws.send(chunk)

    await ws.send(json.dumps({"event": "eof"}))


async def receive_results(ws):
    async for message in ws:
        event = json.loads(message)
        print(event)


async def main():
    uri = "wss://api.speech.example.com/api/stt/v1/ws"
    headers = {"Authorization": f"Api-Key {os.environ['API_KEY']}"}

    async with websockets.connect(uri, additional_headers=headers) as ws:
        await ws.send(json.dumps({"language": "ru-RU", "model": "SpeechExpert-STT-RU"}))

        async with asyncio.TaskGroup() as tasks:
            tasks.create_task(send_audio(ws))
            tasks.create_task(receive_results(ws))


asyncio.run(main())

Выбор потокового API

Интерфейс Когда использовать
WebSocket Браузер, простой JSON-протокол, mono PCM16 16 кГц
gRPC Protobuf, несколько каналов, произвольная частота PCM, silence_chunk и нормализация
OpenAI SSE Псевдострим готового загруженного файла; не для живого входящего аудио

См. также