SAQM: объяснимая оценка качества речи и общего аудио на психоакустических признаках

SAQM учит компактную свёрточную модель оценивать не саму волну, а подробные признаки искажений из PEAQ. Это делает возможной привязку оценки к громкости шума, модуляционным ошибкам и полосе частот. Полезный результат статьи не в универсальном превосходстве: один общий оценщик покрывает речь и музыку, но наследует ограничения эталонной психоакустической обработки.

Метод. Чистая и искажённая записи выравниваются, нормируются и приводятся к 48 кГц. Одиннадцать семейств PEAQ по 109 частотным полосам образуют 1199 входных признаков на кадр. Одномерный ConvNeXt и объединение по времени дают представление и итоговый балл. Предобучение на примерно 5000 часах чередует контрастные тройки с псевдооценками PEAQ-2f и известным порядком конфигураций xHE-AAC; затем используются человеческие оценки NISQA. Grad-CAM на раннем слое показывает, какие психоакустические измерения влияют на ответ.

Результаты. Корреляция Pearson/Spearman составляет 0,71/0,73 на NISQA-Live, 0,84/0,81 на NISQA-Val, 0,77/0,82 на ODAQ и 0,89/0,78 на IgorC96. SAQM заметно лучше безэталонного SCOREQ на музыке, но хуже его на речи; на многих общих аудионаборах уступает и исходному PEAQ-2f, и DeePAQ. Это подтверждает широкий охват, а не лидерство по каждому набору. В контролируемых примерах атрибуция выделяет искажения в интервале 1–2 с и полосе 1,1–7,5 кГц.

Ограничения. Нужен настоящий чистый эталон и точное временное выравнивание, поэтому метод не является безэталонной проверкой сгенерированной речи. Из NISQA-FOR и P501 исключены примеры потерь пакетов с переменной задержкой: сравнение относится к обработанным подмножествам. Порядок качества кодеков для слабого надзора приблизителен и не верен для каждого фрагмента. Красивые карты Grad-CAM дают правдоподобную локализацию, но не доказывают причинную полноту объяснения и не превращают оценку в точный классификатор дефектов.

Фишка из статьи. Таблица 2 демонстрирует смену лидеров при переходе от речи к общему аудио. Ниже только Pearson, чтобы не смешивать два разных вида корреляции.

Как это читать: сильная безэталонная речевая шкала почти перестаёт ранжировать музыку, а традиционный PEAQ остаётся очень конкурентным там, где его модель восприятия уместна. SAQM соединяет эти режимы ценой компромисса. Поэтому выбирать метрику следует по содержанию и типу искажения, а не по единственному среднему месту в рейтинге.

Источник. Оригинальное название: A Robust, Explainable, and Efficient Deep Metric for Speech and General Audio Quality. arXiv:2610.35810; полный текст PDF.