Межъязыковой перенос определения конца реплики в причинных речевых моделях

Может ли детектор завершения реплики, настроенный на одном языке, работать на другом без полного переобучения? Авторы фиксируют речевой кодировщик и обучают лёгкий линейный классификатор, отдельно проверяя межъязыковой перенос и ущерб от удаления будущего контекста. В этих опытах переход к причинной обработке оказывается более серьёзным ограничением, чем смена языка.

Метод. Из CALLHOME на английском, испанском, немецком, китайском и японском получают 74646 примеров общей длительностью 59,5 часа, разделённых по говорящим. Замороженный Whisper Small выдаёт признаки шестого слоя, над которыми обучается логистическая регрессия. Причинный режим пересчитывает только доступный префикс блоками 160 мс; нормализация мел-спектра также ограничена префиксом. Сравнение с обработкой всей записи позволяет выявить скрытую утечку будущего. Решение сглаживается EMA и требует трёх кадров подтверждения; порог подбирается на исходном языке под 5% ложных срабатываний.

Результаты. Средняя причинная AUC при совпадении языка равна 0,888; средняя потеря при переносе составляет 0,017 с доверительным интервалом 0,016–0,019. Дообучение двух верхних слоёв повышает внутриъязыковую AUC до 0,906, но разрыв переноса увеличивается до 0,023. Потеря от причинной обработки около 0,07 AUC заметно больше. При переносе одного порога между 20 направленными парами языков доля ложных срабатываний составляет 3,5–6,5%, медиана временного сдвига −80 мс; детектор срабатывает лишь на 66–82% концов.

Ограничения. Положительная область разметки охватывает ±200 мс около конца, поэтому отрицательная медиана не доказывает безошибочного предугадывания завершения. Из анализа исключают активное наложение голосов: 40% границ в английском и китайском, до 55% в японском. Результат относится к телефонным диалогам без этих сложных случаев. Временные сдвиги по кадрам не заменяют полную задержку выдачи 160-мс блока, вычислений и аудиотракта; у признаков остаётся ещё 10 мс будущего контекста.

Фишка из статьи. Сопоставление замороженных признаков и адаптации показывает конфликт между лучшим качеством на исходном языке и универсальностью. Разрыв является разностью AUC для совпадающего и другого языка, а не долей ошибочно найденных концов.

Как это читать: адаптация улучшает локальную задачу, но не обязательно извлекает более универсальные признаки смены хода. Авторы также показывают, что 15 минут размеченной речи целевого языка убирают примерно четверть исходного разрыва, час около половины, пять часов большую часть. Это аргумент за небольшую целевую калибровку, а не за автоматическую замену многоязыкового представления крупным специализированным обучением.

Источник. Оригинальное название: Towards Multilingual End-of-Turn Detection using Frozen Speech Encoders. arXiv:2610.39755; полный текст PDF.