SEMAC: сжатие Ambisonics высокого порядка с восстановлением направленной энергетической огибающей
SEMAC перераспределяет битовый бюджет пространственного звука: вместо неточного кодирования всех каналов Ambisonics передаёт меньше сигналов, но отдельно сохраняет энергию по направлениям и частотным полосам. Это перенос принципа CELT «огибающая отдельно от формы» в сферическую область. Важно, что восстановление направленной энергии не означает восстановления всех исходных пространственных деталей и фаз.
Метод. Коэффициенты сферических гармоник через max-rE-лучеформирование превращаются в направленные сигналы. В каждой критической полосе MDCT вычисляется норма; её логарифм предсказывается по времени и частоте, грубо квантуется с шагом 6 дБ и при необходимости уточняется. Небольшой набор транспортных каналов кодируется CELT. Декодер расширяет его до исходного порядка, повторно формирует лучи, нормирует полосы и накладывает полученную с кодера огибающую. В опубликованной проверке матрицы фиксированы, а не адаптивны; оценки направлений отдельных источников не нужны.
Результаты. Проверен пятый порядок: 36 каналов, 48 кГц, кадры 20 мс, суммарные скорости 512 и 768 кбит/с. В MUSHRA на семи сложных сценах вариант с 16 транспортными каналами оценивается выше Opus CMF 3 с полными 36 каналами при обеих скоростях и достигает диапазона Excellent. При одинаковом числе транспортных каналов он также лучше простого усечения порядка. Точные средние баллы текстом не опубликованы: основной результат представлен распределениями, медианами и доверительными интервалами на рисунке 2.
Ограничения. После отсева остаются 11 из 15 слушателей; используются бинауральное воспроизведение с одной HRTF и небольшой предварительно отобранный набор сцен. Сравнение с другими современными пространственными кодеками оставлено на будущее. Огибающая пятого порядка способна занимать более 100 кбит/с. Декодер не восстанавливает отсутствующие в сокращённом сигнале фазовые связи; заявленный полный порядок относится к выходному представлению и направленной энергии, не к точному обращению потерь ранга.
Фишка из статьи. Инженерное узкое место видно ещё до прослушивания: в статье используются 36 направлений, 21 полоса и 50 кадров в секунду. Ниже расчёт по этим параметрам, а не измеренная скорость готового потока.
| Величина | Значение | Следствие |
|---|---|---|
| Полосовых норм за кадр | 36 × 21 = 756 | Скалярная передача слишком дорога |
| Норм в секунду | 756 × 50 = 37800 | Нужны предсказание и энтропийное кодирование |
| Условная передача по 16 бит | 604,8 кбит/с | Уже больше всего бюджета 512 кбит/с |
| Транспорт вместо полного сигнала | 16 вместо 36 каналов | Экономия формы оплачивает пространственную огибающую |
Как это читать: уменьшение числа каналов не делает метаданные бесплатными. Для 4 и 9 транспортных каналов переход с 512 на 768 кбит/с почти не улучшает оценки: ограничителем становится потерянная внутренняя направленная структура, а не только точность квантования. Поэтому выбирать нужно совместно число каналов, порядок огибающей и её точность, а не просто повышать общий битрейт.
Источник. Оригинальное название: SEMAC: Spherical Energy Matching Ambisonics Codec for Efficient Higher-Order Ambisonics Compression. arXiv:2610.32981; полный текст PDF.