Эффективное аудиовизуальное улучшение речи с поиском архитектуры на основе обучения с подкреплением

Работа ищет компактную архитектуру аудиовизуального улучшения речи под мобильный процессор и показывает, где исходная сеть переизбыточна. Обучение с подкреплением проверяет всего 35 кандидатов, сокращает модель с 22 до 2,9 млн параметров и сохраняет 95,4% улучшения SI-SNR, одновременно уменьшая RTF с 0,82 до 0,19.

Метод. PPO-агент с маскированием недопустимых действий постепенно меняет ширину кодировщика и узкого слоя, число повторов и блоков TCN, коэффициент расширения и размер визуального тракта. Награда объединяет SI-SNRi и число параметров. Обучение использует LRS3, шумы CEC2 при SNR от −5 до 5 дБ; скорость измерена на Intel i7-1185G7.

Результаты. Итоговая сеть даёт SI-SNRi 14,5 дБ против 15,2 дБ у 22-миллионной базы и обрабатывает три секунды за примерно 570 мс. Ручная компактная сеть на 6,1 млн параметров получает 14,8 дБ и RTF 0,31; лучший случайный поиск — 13,9 дБ при 2,4 млн и RTF 0,22. В найденной архитектуре визуальный канал уменьшается с 256 до 128 признаков, а TCN — до трёх повторов по шесть блоков.

Ограничения. Основная метрика — SI-SNRi; PESQ, STOI, субъективное качество и влияние на распознавание речи не показаны. Проверка ограничена LRS3 и шумами CEC2, без рассинхронизации губ, закрытого лица и иных камер. Сравнение эффективности поиска не включает полный бюджет настройки награды и агента.

Фишка из статьи. Траектория поиска показывает плавный и измеримый обмен качества на размер, а не один удачный конечный вариант.

Как это читать: последние 87% параметров стоят лишь 0,7 дБ, а особенно избыточным оказался зрительный тракт. Однако это компромисс одной объективной метрики; качество на слух ещё нужно подтвердить.

Источник: arXiv:2610.12796; связанная публикация: DOI 10.21437/AVSEC.2025-14. Оригинальное название: Efficient Audio-Visual Speech Enhancement via Reinforcement Learning-Based Neural Architecture Search.