Лёгкий двухветвевой визуальный модуль для аудиовизуального выделения речи целевого диктора
Для выбора говорящего необязательно свёрточно обрабатывать большую область лица на каждом кадре. Авторы оставляют маленькое изображение губ для артикуляции, а более широкое движение лица описывают координатами ключевых точек. Сеть сохраняет качество лёгкого визуального аналога, но экономия относится только к уже подготовленным визуальным признакам.
Метод. Изображение 32×32 поступает в компактную свёрточную ветвь, 84 ключевые точки в лёгкую временную сеть. Координаты стандартизуются по обучающим данным; при горизонтальном отражении переставляются и их смысловые индексы. Признаки соединяются с IIANet или SpatialNet. Результат сравнивается с предобученным ResNet18 и BlazeNet64 на одинаковых фиксированных двухсекундных смесях LRS3-2mix, 16 кГц и 25 видеокадров в секунду. Выбирается один обучающий целевой диктор на смесь; расписание сокращено относительно исходного IIANet.
Результаты. В более длинном расписании IIANet получает SI-SNRi 17,1 дБ и PESQ 2,80, BlazeNet64 17,0/2,80, ResNet18 17,5/2,90. Визуальная стоимость соответственно 0,3, 2,4 и 8,0 GMAC. Полная посчитанная стоимость IIANet меняется с 25,1 до 17,4 GMAC, то есть примерно на 31%, а не на заявленные для отдельного модуля более 90%. Для SpatialNet визуальная часть сокращается с 8,0 до 0,5 GMAC при SI-SNRi 15,5 против 15,6 дБ.
Ограничения. В расчёт не входят видеодекодирование, детекция лица, вырезание области и поиск ключевых точек. SADRNet для получения координат может сам требовать 10,4 GMAC на изображение; его нельзя считать бесплатным, если ранее он не использовался. Нет аппаратной задержки и нескольких обучающих запусков, поэтому разность 0,1 дБ не свидетельствует о достоверном превосходстве. Не проверены сильные повороты, перекрытие лица и шум координат. Карты внимания служат мотивацией, а не причинным доказательством важности области лица.
Фишка из статьи. Таблица 3 проверяет, достаточно ли просто расширить изображение губ. Все строки относятся к одному сокращённому расписанию IIANet; затраты указаны только для визуального модуля.
| Вход | SI-SNRi, дБ | PESQ | GMAC |
|---|---|---|---|
| Губы 32×32 и 84 точки | 16,0 | 2,59 | 0,30 |
| Только губы 32×32 | 14,9 | 2,38 | 0,30 |
| Только губы 32×64 | 15,0 | 2,32 | 0,60 |
| Только 84 точки | 15,3 | 2,59 | 0,01 |
Как это читать: расширение области вдвое почти не возвращает потерянное качество, а геометрия лица помогает при малой стоимости её обработки. Однако одинаковый PESQ у геометрии и полной схемы при разном SI-SNRi напоминает, что дополнительная ветвь улучшает не все показатели. Практический выбор зависит прежде всего от того, имеются ли координаты лица в готовом тракте.
Источник. Оригинальное название: A Lightweight Dual-Branch Visual Front-End for Efficient Audio-Visual Target Speaker Extraction. arXiv:2610.36834; полный текст PDF.