Измерительный анализ битрейта, энергопотребления и качества декодеров нейросетевых звуковых кодеков

Низкий битрейт нейросетевого кодека не гарантирует экономию энергии на телефоне. Авторы измеряют декодирование на ноутбуке и смартфоне и связывают качество, объём передачи и расход энергии в одной модели, вместо привычного сравнения только по ViSQOL и скорости.

Метод. EnCodec, DAC, SNAC и HILCodec сравниваются с AAC-LC и Opus на реально измеренных точках битрейта. Энергия декодера считается после вычитания простоя в джоулях на секунду звука. Для близкого качества авторы выбирают ближайшие измеренные точки, а затем вычисляют порог энергии передачи, выше которого сэкономленные биты окупают более дорогой декодер.

Результаты. Для речи 24 кГц EnCodec при 6 кбит/с расходует 0,0527 Дж/с на ноутбуке и 0,257 Дж/с на телефоне, тогда как AAC-LC при 16 кбит/с требует 0,00750 и 0,00909 Дж/с. EnCodec становится выгоднее только при цене передачи выше 4,52 мДж/кбит на ноутбуке и 24,8 мДж/кбит на телефоне. При 24 кбит/с Opus и EnCodec дают близкий ViSQOL, 4,26 и 4,30, но Opus декодируется значительно дешевле.

Ограничения. Значения зависят от конкретных реализаций, ускорителей и телеметрии двух устройств. Порог передачи вычислен аналитически, а не измерен на настоящем радиомодеме. Точки близкого качества дискретны и не являются точным перцептивным совпадением.

Фишка из статьи. Таблица для одинакового битрейта отделяет пользу сжатия от цены нейросетевого вывода. При 24 кбит/с EnCodec почти не превосходит Opus по качеству, но расходует примерно в 5 раз больше энергии на ноутбуке и в 41 раз больше на телефоне.

Как это читать: четыре сотых ViSQOL не оправдывают дополнительный расход сами по себе. Нейросетевой кодек выигрывает на уровне всей системы только там, где передача каждого килобита действительно дорога или доступен более подходящий ускоритель.