Falcon и RealSSA: эффективное потоковое выделение диктора по звуку и видео в сложной акустике

Falcon выделяет голос человека по движению его губ, а RealSSA проверяет эту задачу за пределами привычной смеси двух чистых дикторов. В сценах одновременно меняются число близких и дальних голосов, реверберация и внезапные шумы. Главный архитектурный ход состоит в разномасштабной обработке за один проход разделяющего блока, без многократного повторения маленького разделителя.

Метод. STFT-кодировщик получает вещественную, мнимую и амплитудную компоненты, замороженная зрительная сеть признаки рта. U-Net-подобный разделитель объединяет частотную двунаправленную LSTM, временную причинную LSTM и маскированное частотно-временное внимание на разных разрешениях. При обучении представление результата притягивается к цели и отталкивается от близких мешающих дикторов в пространстве того же кодировщика. Эта ветвь на выводе не нужна. RealSSA-Sim содержит примерно 153 часа, 1–5 близких помех и в соответствующих сценах ещё 10–15 дальних; RT60 больших помещений достигает 1–2 с.

Результаты. На RealSSA-Sim SI-SNRi равен 7,7 дБ против 7,6 у причинного AV-TF-GridNet, WER 25,47 против 27,31%. На RealSSA-Real DNSMOS достигает 3,276, WER 32,74%; это второй результат по WER после AV-Mossformer2 с 32,00%. Контрастивный критерий добавляет Falcon 0,4 дБ, SwiftNet 0,2 дБ и Dolphin 0,3 дБ без дополнительной работы при выводе. Обучение Falcon на RealSSA вместо VoxCeleb2 повышает на реальных записях NISQA с 2,431 до 3,615 и DNSMOS с 2,878 до 3,276.

Ограничения. Реальный тест невелик: около 84 минут, 10 человек, восемь окружений. Для обучения отталкиванию нужны отдельные чистые дорожки помех, доступные в симуляции. Указанные 0,5 млн относятся к обучаемым параметрам, а не обязательно ко всему замороженному зрительному каркасу. Система одноканальная. Причинность здесь допускает фиксированные три будущих видеокадра, то есть 120 мс; полная задержка живого потока отдельным измерением не подтверждена.

Фишка из статьи. Таблица 5 и приложение E разделяют вычислительную цену и алгоритмическое ожидание. Время измеряется для полного двухсекундного входа, batch 1, на RTX 3090 и одном потоке Xeon Gold 6226R; GPU-оценка исключает накладные расходы CPU.

Как это читать: одинаковое число параметров скрывает более чем четырёхкратную разницу операций между Swift-Net и Falcon. Деление времени Falcon на 250 шагов даёт амортизированные 5,44 мс на CPU и 0,21 мс на GPU при шаге аудио 8 мс. Это запас вычислений, а не измеренная сквозная задержка: к нему относятся буферизация видео, окно STFT, планирование и накладные расходы потоковой реализации.

Источник. Оригинальное название: Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes. arXiv:2610.32749; полный текст PDF.