Bin2Ambi: восстановление амбисонического звукового поля из бинауральной записи с отслеживанием головы

Bin2Ambi восстанавливает амбисоническую запись первого порядка из бинаурального сигнала, записанного на наушниковую гарнитуру с отслеживанием поворота головы. Работа интересна тем, что движение головы используется как дополнительное пространственное зондирование: сеть получает не только межушные признаки, но и ориентацию слушателя во времени.

Метод. Свёрточно-рекуррентный U-Net оценивает параметры DirAC: направление прихода и диффузность для каждого частотно-временного элемента. Кватернионы ориентации головы вводятся в модель вместе с бинауральными признаками, после чего параметры переводятся в амбисонический сигнал. Авторы сравнивают MSE, углово-взвешенную MSE и MAE, а также убирают декодер, пропуски и отслеживание головы.

Результаты. Лучшая по средней угловой ошибке конфигурация с углово-взвешенной MAE даёт 11,82°, а вариант с углово-взвешенной MSE — 12,05°. В MUSHRA эталонный DirAC получает 86,5 балла, Bin2Ambi — 85,4; статистически значимой разницы авторы не находят. Однако после фильтрации осталось только семь слушателей из девяти.

Ограничения. Сцены синтетические, выход ограничен амбисоникой первого порядка, а субъективный тест слишком мал для сильного вывода об эквивалентности. При росте числа источников и шума точность падает; реальные ошибки датчика положения головы отдельно не моделируются.

Фишка из статьи. Отслеживание головы почти не меняет среднюю ошибку, зато резко подавляет редкие катастрофические промахи. Это более полезный эффект, чем кажется по одному среднему значению: движение головы снимает часть фронтально-тыловой неоднозначности именно в сложных кадрах.

Как это читать: выигрыш AW-MSE по среднему составляет лишь 0,30°, но хвост распределения сокращается почти на 14°; для пространственного воспроизведения это означает заметно меньше грубых скачков направления.