Tap2Listen: быстрое переключение целевого диктора при потоковом аудиовизуальном выделении речи
При выборе другого лица в разговоре разделитель не должен секунду продолжать слушать предыдущего человека. Tap2Listen хранит общую акустическую историю смеси, а выбранное лицо вводит только при её чтении декодером. Поэтому переключение не оставляет в рекуррентном состоянии следов старого диктора и не требует повторного запуска акустического кодировщика.
Метод. Причинный кодировщик обрабатывает STFT с окном 16 мс и шагом 8 мс. Декодер с перекрёстным вниманием использует четыре секунды общей акустической памяти и соответствующую историю движения губ выбранного лица. Постоянный признак лица входит в запрос, движения губ в ключи и значения. Сам декодер не накапливает прошлые выходы. При смене цели пересчитывается проекция памяти; энкодер обучается дополнительно предсказывать изменение спектра смеси на пять кадров вперёд. Будущее нужно только для обучающей цели, не на выводе.
Результаты. На стандартном LRS3-2mix SI-SNRi 9,68 против 8,85 дБ у повторно оценённого AV-SkiM, при примерно одинаковых 8,1 млн параметров. После смены знакомого лица выигрыш уже в первом 200-мс окне 2,59 дБ; базовый метод восстанавливается около секунды. На Galaxy S22 p95 обычного кадра 3,2 мс при бюджете 8 мс, пересчёта при выборе лица 5,2 мс, полного вычислительного перехода 8,5 мс. Алгоритмическая задержка 16 мс против около 1 мс у AV-SkiM.
Ограничения. Заявленные в аннотации 0,12 мс не являются измерением перехода на телефоне: для устройства нужно использовать числа раздела 3.4. Измеренный поток включает STFT, модель и восстановление звука, но не доказывает полную задержку камеры, детекции лица и визуальных кодировщиков. Нужна сохранённая синхронная история губ кандидатов; отсутствие или ошибочное отслеживание лица не исследовано подробно. Смеси искусственные, только тест разделён по дикторам; протокол новой цели восстановлен авторами, исходное случайное зерно недоступно.
Фишка из статьи. Таблица 2 показывает, как усреднение всей реплики скрывает самые заметные пользователю ошибки. Это SI-SNRi в дБ; оценка первых секунд усредняет 200-мс окна после выбора.
| Сценарий | AV-SkiM: вся реплика | Tap2Listen: вся реплика | AV-SkiM: первая секунда | Tap2Listen: первая секунда |
|---|---|---|---|---|
| Знакомое лицо | 8,05 | 9,08 | 8,50 | 9,31 |
| Впервые появившееся лицо | 4,73 | 8,16 | 1,08 | 9,16 |
Как это читать: на новой цели общий выигрыш 3,43 дБ, а непосредственно после переключения 8,08 дБ. Для интерактивного слухового интерфейса важна именно переходная характеристика. Отсутствие восстановления состояния не означает отсутствия накопления кадра или вычислительного времени: их следует измерять отдельно.
Источник. Оригинальное название: Tap2Listen: Instant Target Switching for Streaming Audio-Visual Speaker Extraction. arXiv:2610.36643; полный текст PDF.