ASOM: вероятностная оценка эмоций по текстовым критериям за один проход
Для ответа на двадцать вопросов об эмоциях записи необязательно двадцать раз запускать генерацию текста. ASOM сопоставляет аудио с текстовыми описаниями вариантов и сразу возвращает распределения вероятностей. В отличие от обычного классификатора набор формулировок можно менять, а обучение сохраняет разногласия слушателей вместо сведения их к единственной метке.
Метод. Замороженный Whisper-large-v3 даёт признаки из четырёх блоков, усреднённые по записи и 64 временным участкам. Замороженный Qwen2.5-1.5B кодирует вопрос вместе с каждым вариантом ответа; эти представления можно закэшировать. Обучаемый модуль чтения на 6,2 млн параметров сравнивает единичные векторы в пространстве размерности 256 и нормирует оценки отдельно внутри каждого вопроса. Цели задаются долями голосов разметчиков MSP-Podcast, CREMA-D и Emozionalmente; дополнительная дистилляция использует предсказания вспомогательных моделей, не видевших оцениваемый обучающий пример.
Результаты. На 3113 общих примерах MSP-Podcast macro-F1 равна 0,383 против 0,311 у Qwen2.5-Omni-7B и 0,357 у Omni-3B, настроенной на тех же 169 тысячах примеров. С добавлением расшифровки ASOM достигает 0,402, сопоставимо с DeepSER 0,400. Логарифмическая потеря по голосам составляет 1,507 против не менее 2,097 у исходных аудиоязыковых моделей. На 21 новом корпусе в 13 языках средняя macro-F1 равна 0,433; на 17 корпусах, где текст не подсказывает эмоцию, 0,419 против 0,281 у лучшей исходной языковой модели.
Ограничения. Это проверка ограниченного круга эмоциональных признаков, а не универсального понимания записи. Полная система содержит около 2,2 млрд параметров: 6,2 млн относится только к обучаемому модулю. Время 13,1 мс на двадцать вопросов измерено для записи 5,9 с на RTX 6000 Ada с готовым кэшем критериев; первичное кодирование новых двадцати вопросов дополнительно занимает 129 мс. Вероятности описывают суждения слушателей, не внутреннее состояние человека.
Фишка из статьи. Внешне открытый набор текстовых меток не гарантирует открытого выбора эмоций. На EmoNet-Voice и EARS с эмоциями вне обучающих наборов авторы находят расхождение между ранжированием и окончательным решением.
| Проверка | Результат ASOM | Что это означает |
|---|---|---|
| Ранжирование новых эмоций | AUC 0,721 | Признак в представлении есть |
| Выбор новой эмоции | F1 0,018 | Новые классы почти не выбираются |
| Вместо голосов: контрастивная цель | Средняя F1 новых корпусов +0,067 | Перенос лучше |
| Та же замена цели | Логарифмическая потеря +0,369 | Соответствие голосам хуже |
Как это читать: обучаемое смещение предпочтений поддерживает знакомые эмоции и хорошую калибровку внутри области, но мешает выбирать незнакомые. Преимущество текстового интерфейса не отменяет сдвига априорных вероятностей. Практически следует отдельно проверять ранжирование, калибровку и итоговый выбор, особенно при добавлении нового словаря эмоций.
Источник. Оригинальное название: Audio System One Model: Typed Probabilistic Perception of Emotion in Speech. arXiv:2610.22401; полный текст PDF.