Громко и чётко: динамическое управление активациями для разборчивой речи в шуме

Авторы заставляют Qwen3-TTS имитировать эффект Ломбарда без дообучения: речь становится энергичнее, медленнее и артикуляционно контрастнее, когда вокруг шумно. Важное отличие от постоянного steering в том, что направление задаётся относительно текущего prompt и может включаться только на нужном участке потока.

Метод. Из пар обычной и ломбардной речи извлекаются направления для голосового усилия и гиперартикуляции. Prompt-relative steering не накапливает смещение по мере авторегрессии; коэффициенты можно менять во время потокового синтеза. Оценка включает спектральный наклон, пространство гласных, темп фонем, сходство диктора и WER после смешивания с ресторанным шумом при 1, 5 и 10 дБ.

Результаты. На Expresso WER чистого синтеза снижается с 1,89% до 1,22% при сильном steering, спектральный наклон меняется с -18,87 до -15,03 дБ, а сходство диктора остаётся 0,89. При шуме 1 дБ относительное снижение WER составляет 7–22% в зависимости от языка. Семь слушателей предпочли управляемую речь: CMOS +0,958 ± 0,48. Потоковый RTF меняется лишь с 1,078 до 1,088.

Ограничения. Субъективный тест очень мал, семь человек и 15 пар. На чистой немецкой, испанской и японской речи сильное управление немного повышает WER, а изменения пространства гласных зависят от языка. RTF чуть выше единицы, то есть показанная конфигурация формально медленнее реального времени.

Фишка из статьи. Динамическое вмешательство локально и обратимо: спектральный наклон меняется только во время активного окна и после него возвращается к базовому уровню почти без хвоста.

Как это читать: направление не просто меняет весь голосовой стиль. Его можно связать с внешней оценкой шума и включать по времени, получая почти мгновенное изменение спектра с пренебрежимо малой вычислительной надбавкой.