AISHELL8-FISHEYE: аудиовизуальное выделение целевого голоса по видео с широкоугольной камеры

AISHELL8-FISHEYE проверяет, насколько выделение голоса по движениям губ переносится на камеры «рыбий глаз». Широкое поле зрения удобно для роботов и носимых устройств, но меняет геометрию лица. Авторы выпускают парные записи обычной и широкоугольной камер и показывают, что готовые признаки геометрии помогают только вместе с адаптацией самого кодировщика губ.

Метод. Корпус содержит 47,03 часа спонтанных монологов 94 носителей китайского языка и 14 791 высказывание. Говорящие в обучающей, проверочной и тестовой частях не пересекаются. Для испытаний смешивают четырёхсекундные записи двух людей с отношением уровней от −10 до 10 дБ. Кодировщик губ ResNet-18 дополняется замороженной ветвью из задачи оценки положения головы на широкоугольном видео. Суммарные визуальные признаки задают условие TF-GridNet, предсказывающей комплексную маску речевой смеси.

Результаты. При адаптируемом кодировщике губ дополнительная ветвь поднимает SI-SDRi с 10,47 до 11,84 дБ, STOI с 0,78 до 0,81, PESQ с 2,93 до 2,96. Обычная камера с замороженным кодировщиком без этой ветви даёт 19,33 дБ SI-SDRi. Даже лучшая широкоугольная конфигурация отстаёт на 7,49 дБ. Таким образом, выпущен трудный воспроизводимый тест, а не решена проблема искажённого визуального входа.

Ограничения. Перекрытие голосов синтетическое; движущиеся собеседники, реальные диалоги и другие положения камер не проверены. Камеры различаются также ракурсом и разрешением, поэтому разрыв нельзя целиком приписать радиальной дисторсии. Нет сопоставления с калиброванным исправлением изображения или равной по размеру универсальной визуальной ветвью. Для результатов не указана неопределённость повторного обучения. Участники дали согласие на публикацию, но лицензия корпуса CC BY-NC 4.0 ограничивает коммерческое использование.

Фишка из статьи. Таблица 3 содержит полезный отрицательный контроль: добавить специализированные признаки к замороженной сети недостаточно. Ниже только широкоугольное видео, один и тот же акустический протокол; ветвь DA всегда заморожена.

Как это читать: выигрыш 1,37 дБ возникает при совместном согласовании движений губ и геометрического дополнения. Само наличие заранее обученной ветви ещё не гарантирует полезного объединения признаков. Отсутствие доверительных интервалов требует осторожности с маленьким ухудшением 0,10 дБ, но отсутствие универсального выигрыша видно достаточно ясно.

Источник. Оригинальное название: AISHELL8-FISHEYE: A Fisheye Audio-Visual Dataset for Target Speaker Extraction with Distortion-Aware Baselines. arXiv:2611.09368; полный текст PDF.