Сколько просодической информации уже содержит кодировщик распознавания речи

Нужен ли отдельный вычислитель высоты тона, темпа и пауз, если границу реплики уже ищут по признакам распознавателя? Авторы проверяют не полезность просодии вообще, а её дополнительный вклад поверх кодировщика. На английской телефонной речи этот вклад резко уменьшается после первого блока Zipformer и остаётся небольшим в глубоких слоях.

Метод. Сопоставляются 41 просодический признак и четыре глубины кодировщика: входные мел-признаки, ранний, средний и последний слои. Для каждой пары обучают одинаковые логистический и небольшой нейросетевой детекторы. Вторая проверка пытается восстановить сами просодические признаки по скрытым состояниям. Контроль циклически сдвигает признаки внутри высказывания: сохраняет их распределение и устойчивые особенности говорящего, но разрушает привязку к границе. Выборки разделены по говорящим; основной материал — 2221 фрагмент от 1354 людей, дополнительно проверены CASPER, wav2vec2 и Whisper.

Результаты. У логистического детектора добавление просодии к исходным признакам повышает AUC на 0,092; к последнему слою — лишь на 0,006. После контроля временной привязки последний прирост равен 0,0015. Медианная восстанавливаемость просодии линейным регрессором сначала растёт до R² = 0,53, затем падает до 0,20. Это совместимо с сохранением полезной для задачи части признаков, но не доказывает конкретный внутренний механизм кодировщика. Просодия отдельно даёт AUC 0,79, так что результат не означает её бесполезности.

Ограничения. Основная оценка сделана в окне ±400 мс около размеченного конца реплики: хвостовая тишина и защитная зона исключены. Это исследование информации в признаках, а не испытание полного потокового детектора по задержке и ложным прерываниям на всём разговоре. Основные данные внутренние и англоязычные; дополнительные кодировщики работают вне потокового режима. Вывод нельзя автоматически переносить на эмоции, другие языки и шумные каналы.

Фишка из статьи. Таблица 3 показывает, насколько меняется практическая частота ложных срабатываний при одинаковой полноте 90%. Контроль отделяет добавочную информацию о моменте окончания от корреляций с особенностями говорящего.

Как это читать: это доля ошибочно отмеченных внутренних кадров в заданном окне, не число прерываний в час. Средний слой сам по себе сильнее последнего, а отдельная просодия почти не компенсирует разницу. Инженерный вывод — сначала проверить глубину считывания кодировщика и полный потоковый протокол, прежде чем добавлять ещё один тракт признаков.

Источник. Оригинальное название: How Much Prosody Does Your ASR Encoder Already Know. arXiv:2611.02602; полный текст PDF.