Какие свойства диктора и речи сохраняют кодовые книги нейросетевых аудиокодеков

У кодеков с несколькими кодовыми книгами первые уровни часто считают семантическими, а последующие — носителями тонких акустических деталей. Авторы проверяют, насколько эта схема согласуется с полом, возрастом, акцентом, эмоциями, плавностью речи, качеством голоса и неречевыми вокализациями. Анализ 17 кодеков показывает: глубина, нужная для восстановления свойства, зависит и от самого свойства, и от его конкретного класса.

Метод. Речь восстанавливают только по первым k кодовым книгам и сравнивают решения готовых классификаторов на реконструкции и оригинале. Согласие измеряется перевзвешенной κ Коэна, чтобы массовые классы не подавляли редкие. «Глубина свойства» — первая относительная глубина (k−1)/(K−1), где согласие достигает 90% значения при полном наборе книг. Это показатель доступности признака через декодер и классификатор, а не непосредственное измерение информации в токенах.

Результаты. В среднем раньше всего восстанавливается бинарная классификация пола, затем плавность речи; возрастная группа и качество голоса требуют более глубоких уровней. Для разных нарушений плавности достаточно примерно 30–40% относительной глубины, для смеха — около 20%, для кашля и чихания — 50–60%. В сопоставимых вариантах DualCodec 25 Гц сохраняет большинство свойств раньше, чем 12,5 Гц, но усреднение по всем кодекам даёт обратный тренд из-за смешения других архитектурных факторов.

Ограничения. Совпадение автоматических предсказаний не означает одинакового человеческого восприятия: классификатор может сохранить решение по F0, когда тембр уже потерян. Порог относителен к полной реконструкции, поэтому раннее его достижение возможно и при низком абсолютном согласии. Данные и метки ограничены демографически и лингвистически; разные кодеки одновременно различаются обучением, числом книг и частотой токенов.

Фишка из статьи. Для бюджета токенов важно различать конкретные вокализации, а не только среднюю категорию «неречевые звуки». Короткие дыхательные события требуют более глубокого восстановления, чем протяжённый смех.

Как это читать: это усреднённые относительные глубины, а не универсальные номера книг или гарантии сохранения признака. Для задачи обнаружения кашля нельзя выбирать число токенов только по качеству распознавания слов или восстановлению смеха.

Источники. Страница arXiv; PDF статьи. Оригинальное название: Probing Neural Audio Codecs with Speaker Traits and Speech Characteristics.