Языковая диаризация Whisper Диагностика
arXiv eess.AS

OTPM: оценка пользы адаптации языковой диаризации по вероятности посторонних языков

ArXiv:2611.13430

OTPM оценивает, стоит ли обучать небольшой классификатор поверх замороженного Whisper для разделения записи на языковые участки. Идея проста: если встроенное определение языка отдаёт много вероятности языкам, которых в записи быть не должно, адаптация потенциально полезна. Однако перенос численной прогностической модели на реальные разговоры оказывается заметно слабее синтетического результата.

Метод. Метрика суммирует вероятности вне заранее известного набора целевых языков и усредняет их по окнам и файлам. Ей не нужны временные языковые метки, но список присутствующих языков нужен. Авторы обучают логистические диагностические классификаторы на языковых вероятностях либо усреднённых признаках кодировщика, не изменяя Whisper. Прогноз улучшения калибруется на 32 синтетических двуязычных парах FLEURS и проверяется на 19 новых парах и трёх реальных корпусах. Используются окна 10 секунд с шагом 0,4 секунды, кластеризация и уточнение VBx.

Результаты. Для вероятностного классификатора Whisper base на новых синтетических парах корреляция Спирмена между OTPM и выигрышем достигает 0,68, вневыборочный R² равен 0,52. Для признаков кодировщика корреляция 0,56 сочетается с отрицательным R² −0,88: ранжирование не гарантирует правильной величины выигрыша. На реальных корпусах средние корреляции внутри корпуса существенно скромнее: 0,27 для вероятностей и 0,23 для кодировщика.

Ограничения. Синтетические записи сбалансированы и склеены из отдельных высказываний, в отличие от коротких переключений языка в разговоре. OTPM не замечает путаницу между двумя целевыми языками. Часть случаев с вырожденной кластеризацией исключается из расчёта корреляций. Сама метрика не обучается, но прогноз величины выигрыша опирается на ранее обученные классификаторы.

Фишка из статьи. Таблица 2 на с. 7 показывает не только успех, но и систематическое завышение обещанного снижения LDER при переносе. Все значения выигрыша ниже выражены в процентных пунктах; положительное число означает уменьшение ошибки.

Реальный корпусПрогноз по OTPMФактический выигрышЗначимость
SEAME8,933,34p = 0,003
VoxPopuli8,536,20p = 0,004
DISPLACE10,372,28p = 0,17

Как это читать: Наиболее многообещающий по прогнозу DISPLACE даёт наименьшее и статистически неубедительное улучшение вероятностного классификатора. OTPM полезен как дешёвый индикатор проблем, но эти данные не поддерживают автоматическое решение о дообучении без небольшой проверки на целевом домене.

Источник. Оригинальное название: Off-target posterior mass: A training-free diagnostic for fine-tuning spoken language diarization probes. arXiv:2611.13430; полный текст PDF.

Оригинальная статья на arXiv