Фонологически информированный модуль выделения целевого диктора для больших аудиоязыковых моделей

LATTE выбирает глубину выделения целевого диктора отдельно для каждой смеси и не требует знать язык во время применения. Фонологическая база нужна только при обучении: она сглаживает оценку трудности между родственными языками, а на входе маршрутизатор опирается на акустику и выполняет два, четыре или шесть общих блоков.

Метод. Модуль на 5,2 млн параметров сочетает признаки WavLM и спектральный тракт, оценщик трудности и вложенный hourglass-экстрактор с тремя выходами. Целевая глубина выводится из того, на каком выходе качество уже приблизилось к самому глубокому. PolyExtract охватывает восемь языков и все 64 направленные пары «язык цели — язык помехи» при SNR от −5 до 5 дБ.

Результаты. LATTE достигает SI-SNRi 15,07 дБ, PESQ 3,22 и STOI 0,92 при 0,30 GFLOP; фиксированный глубокий путь даёт лишь на 0,09 дБ больше при 0,53 GFLOP. По сравнению с TF-GridNet средний WER замороженной Qwen3-Omni снижается с 16,8 до 14,6%, число параметров — с 14,5 до 5,2 млн. На худшей языковой паре SI-SNRi возрастает с 11,1 до 14,0 дБ.

Ограничения. Смеси синтетические, четырёхсекундные и двухголосые; шум, реверберация, движение и большее число участников не проверены. Фонологический приоритет строится по восьми языкам и зависит от качества URIEL/PHOIBLE. В семантических задачах адаптированная LoRA-версия Qwen всё ещё превосходит подключаемый LATTE, хотя требует изменения большой модели.

Фишка из статьи. Экономия не достигается простым ранним выходом: оценка трудности и итеративное уточнение дают основную прибавку именно на сложных языках.

Как это читать: фиксированный глубокий тракт одновременно дороже и хуже, поскольку здесь удалён не только маршрутизатор, но и обусловливание трудностью. Спектральная детализация и контекст WavLM дополняют друг друга; ни один путь отдельно не воспроизводит полный результат.

Источник: arXiv:2610.13500. Оригинальное название: Phonology-Aware Speaker Extraction Frontend for Audio LLMs.