ParaGeo: общая геометрия скрытого пространства для паралингвистической вариативности
ParaGeo исследует, существует ли в речевой языковой модели общее низкоразмерное пространство манеры произнесения, которое сохраняется при смене текста. Работа интересна аккуратным разделением двух вопросов: паралингвистические направления действительно обнаруживаются, но их наличие ещё не означает надёжного управления синтезом.
Метод. Для замороженной GLM-4-Voice синтезируются 80 управляющих описаний из 12 семейств на восьми одинаковых предложениях. Усреднённые K/V-представления центрируются относительно содержания и проецируются в 16 измерений; затем измеряются перенос меток между предложениями, согласованность направлений и эффект добавления этих направлений в разные слои и моменты генерации.
Результаты. В 80-классовой проверке на новом содержании точность центроидов равна 9,49% против перестановочного среднего 1,25%, а косинусная согласованность одной метки между текстами — 0,285 против 0,017; для обеих статистик p=0,001. В отдельной задаче шести стилей усреднение аудиотокенов даёт 85,0% против случайных 16,7%. При динамическом вмешательстве в средние слои предпочтение изменённой речи достигает 68,75% с интервалом [56,25; 81,25] и почти без изменения текстового WER.
Ограничения. Звук синтетический и получен одной моделью; оценки управления в основном автоматические и опираются на 24 диагностических примера. Глобальный результат прямого сравнения с пятью случайными направлениями равен лишь 51,5% [45,39; 57,56], то есть убедительного общего преимущества нет. Часть проверки трансдуктивна: для нового предложения используется его банк немаркированных управляющих примеров.
Фишка из статьи. Размерность и место вмешательства ведут себя немонотонно. Больше сохранённой дисперсии не означает лучшего управления: динамическая оценка падает с 58,33% при ранге 4 до 47,92% при ранге 32, а средние слои заметно лучше полного вмешательства.
| Динамическое вмешательство | Предпочтение против запроса без вмешательства | Изменение WER |
|---|---|---|
| Ранг 4 | 58,33% | 0,0000 |
| Ранг 16, все слои | 54,17% | +0,0055 |
| Ранг 32 | 47,92% | +0,0021 |
| Ранг 16, средние слои | 68,75% | −0,0060 |
| Ранг 16, только конец | 47,92% | +0,0327 |
Как это читать: скрытая геометрия статистически воспроизводима, но превращать её в ручку управления надо локально и осторожно. Лучший ответ даёт не максимальная размерность и не воздействие на всю сеть.