GAANet: асимметричное внимание с глобальным управлением для аудиовизуального разделения речи

GAANet разделяет речь по звуку и изображению губ, не заставляя две модальности проходить одинаковую временную пирамиду. Аудио и видео обрабатываются в подходящих им разрешениях, а компактный глобальный токен цели направляет локальное и межмодальное внимание на каждом масштабе.

Метод. Асимметричное многомасштабное слияние сохраняет более подробную временную сетку аудио и более редкую сетку видео. Глобальные аудио- и видеотокены имеют длину один, аккумулируют признаки говорящего на всём фрагменте и повторно используются в четырёх итерациях уточнения. Модель обучается на двухсекундных смесях двух говорящих из LRS2 и VoxCeleb2.

Результаты. На LRS2 система достигает SI-SNRi 16,5 дБ, SDRi 16,64 дБ и PESQ 3,28; на VoxCeleb2 — 14,0 дБ, 14,7 дБ и 3,15. Модель содержит 3,3 млн параметров и требует 19,8 GMAC, близко к IIANet с 3,1 млн и 18,6 GMAC, но повышает SI-SNRi на 0,5 дБ на LRS2 и 0,4 дБ на VoxCeleb2.

Ограничения. Проверяются синтетические двухсекундные смеси ровно двух говорящих с доступным чистым изображением лица. Нет реальных комнатных записей, пропавших или рассинхронизированных видеокадров, нескольких конкурентов и потоковой задержки. t-SNE глобальных токенов показывает кластеризацию говорящих лишь качественно и не доказывает причинную роль идентичности.

Фишка из статьи. Абляция показывает почти аддитивный вклад двух идей, а перебор глубины выявляет насыщение: пятая итерация увеличивает вычисления, но не SI-SNRi; пятый масштаб даже немного ухудшает результат. Это даёт конкретную рабочую точку вместо общего тезиса «больше масштабов лучше».

Как это читать: глобальная подсказка даёт больший самостоятельный прирост, но максимум достигается совместно с асимметрией. После четырёх уточнений вычислительная цена продолжает расти без измеримого выигрыша.