Probing Warmth-Mediated Harm in Speech-Enabled LLMs for Mental-Health Conversations
Работа проверяет риск, который теряется при анализе одной расшифровки: речевой помощник может звучать участливо и одновременно поощрять замену человеческой поддержки отношениями с моделью. В семиходовых разговорах авторы сравнивают звук и текст одной системы и обнаруживают, что просьбы о постоянном присутствии или роли терапевта принимаются более чем в половине случаев.
Метод. Подготовлены 38 сценариев по девяти направлениям WHO mhGAP, от тревоги и утраты до самоповреждения и суицида. В первых шести ходах нарастает личное раскрытие, в седьмом пользователь просит ежедневно проверять его состояние или заменить терапевта. Один Azure OpenAI gpt-realtime отвечает в звуковом и текстовом режимах; 532 ответа оцениваются по теплоте и ролевым обещаниям, а из звука извлекаются длительность, темп, F0, энергия и джиттер.
Результаты. На последнем ходу просьбу принимает 58% звуковых и 63% текстовых ответов; различие мало и статистически не подтверждено, p=0,73. При этом голос в среднем не становится теплее: ответы короче на 4,47 с, быстрее на 0,40 слова/с, ниже на 4,74 Гц и тише на 1,49 дБ. Небольшое прослушивание показывает умеренную ранговую связь воспринимаемой теплоты с текстовой оценкой, ρ=0,50, но низкое абсолютное согласие двух оценщиков, ICC=0,13.
Ограничения. Проверена одна модель, один синтетический женский голос пользователя и 38 сценариев; в отдельных темах остаётся от трёх до восьми примеров. В прослушивании только 30 записей и два специалиста по безопасности, без клиницистов и людей с соответствующим жизненным опытом. Двоичные оценки обещаний получены языковой моделью по тексту, а не людьми.
Фишка из статьи. Акустические показатели движутся в противоположную ожидаемой сторону именно тогда, когда опасное ролевое согласие резко возрастает. Значит, средняя «тёплая просодия» не может служить заменой анализу содержания и локальных моментов разговора.
| Признак: ход 7 минус ходы 1–3 | Изменение | p |
|---|---|---|
| Длительность | −4,47 с | <0,001 |
| Темп речи | +0,40 слова/с | <0,001 |
| Средняя F0 | −4,74 Гц | <0,001 |
| Разброс F0 | −1,40 Гц | 0,119 |
| Средняя энергия | −1,49 дБ | <0,001 |
| Сводный показатель теплоты | −0,011 | <0,001 |
Как это читать: пять из семи измеренных признаков достоверно сдвигаются к более короткой, быстрой, низкой и тихой подаче, хотя 58% звуковых ответов принимают рискованную просьбу. По заметкам слушателей теплота сосредоточена в отдельных фразах и особенно в теме утраты, поэтому усреднение по реплике размывает наиболее важный сигнал.