A Mixed-Behavior Vote Model for Multimedia Subjective Quality Votes, Means, and Variances
Средняя оценка MOS скрывает важную часть эксперимента: насколько сильно расходятся отдельные голоса и правдоподобна ли такая дисперсия вообще. Статья выводит область допустимой дисперсии для одномодальных ответов на шкале 1–5 и строит смесь трёх моделей поведения, которая не выходит за эти границы.
Метод. Нижнюю границу UVR задаёт голосование только двумя соседними оценками, верхнюю — одномодальное распределение с максимально возможной дисперсией; BinoVotes занимает промежуточное положение. Четвёртая степень аппроксимирует зависимость дисперсии от MOS с ограничениями UVR, а весовая смесь BinoVotes, нижней ATC и верхней MVU интерпретирует характер голосования. Подход проверен на 16 наборах качества речи, изображений и видео.
Результаты. Обычный метод наименьших квадратов остаётся внутри UVR для 13 из 16 наборов, для остальных трёх требуется взвешенная подгонка. ITS2013 почти полностью соответствует BinoVotes. В NISQA P501 у 67 из 240 файлов, то есть у 28%, все 18–32 голоса занимают лишь две соседние позиции; поэтому этот набор близок к равной смеси BinoVotes и минимально-дисперсного поведения ATC.
Ограничения. Это описательная модель протокола оценивания, а не новая безэталонная метрика качества и не прогноз MOS на отложенных данных. Выводы привязаны к пятиуровневой шкале и предположению об одномодальном добросовестном голосовании. Шестнадцать наборов иллюстрируют применимость, но не дают систематической проверки для других шкал, культур и инструкций слушателям.
Фишка из статьи. Авторы превращают коэффициент a в старой параболе дисперсии в быструю проверку целостности данных. Здесь важно не перепутать строгую математическую границу 0,25 с более терпимым практическим порогом 0,05.
| Значение a | Что означает | Практическое действие |
|---|---|---|
| a<0,05 | Дисперсия подозрительно мала даже для практических данных | Проверить голоса и расчёты |
| 0,05≤a<0,25 | Подгонка может выглядеть правдоподобно, но парабола локально нарушает строгий минимум | Использовать ограниченную UVR-модель |
| 0,25≤a≤0,54 | Поведение совместимо с обычной одномодальной областью | Интерпретировать смесь ATC/BinoVotes/MVU |
| a>0,54 | Заметна многомодальность или аномально большая дисперсия | Проверить испытуемых и постановку опыта |
Как это читать: значение 0,25 гарантирует, что сама парабола нигде не опустится ниже минимально возможной дисперсии, а 0,05 — лишь мягкий порог для реальных облаков точек. Поэтому a между 0,05 и 0,25 не доказывает ошибку набора, но показывает, что старая парабола физически неудобна.