NeuroCodec: генеративное выделение целевого диктора по ЭЭГ в пространстве аудиокодека
NeuroCodec использует ЭЭГ для выбора слушаемого говорящего, а речь восстанавливает в скрытом пространстве нейросетевого кодека. Это позволяет выйти за ограничения обычной спектральной маски и узкой полосы. Важный контроль работы отделяет пользу самого метода от большого преимущества широкополосного выхода в слушательском сравнении.
Метод. Графовые свёртки моделируют связи каналов ЭЭГ, многомасштабные временные свёртки и внимание объединяют нейронные и звуковые признаки, Mamba поддерживает временной контекст. Шестиэтапное обучение постепенно вводит ошибки скрытой реконструкции, мел-спектра и состязательного сопоставления признаков. На Cocktail Party и KUL применены независимые от участника схемы; полоса и конфигурация DAC различаются по исходному набору. Для объективного сравнения выходы приводятся к 8 кГц.
Результаты. На KUL STOI составляет 0,868, PESQ 2,562 против 0,859 и 2,514 у NeuroSpex+. На Cocktail Party PESQ повышается с 2,23 у M3ANet до 2,31, но ESTOI 0,721 немного ниже 0,725. Онлайн-вариант на GTX 1080 Ti при шаге 0,5 с получает PESQ 1,662 и RTF 0,18, используя окно 2 с. Низкий RTF означает запас вычислительной скорости, а не отсутствие задержки накопления контекста.
Ограничения. ЭЭГ требует специального измерения; небольшие исследовательские корпуса не доказывают работоспособность повседневного слухового устройства. Сравнения KUL частично опираются на опубликованные показатели других систем. Генеративная полнота спектра не гарантирует правильность слов, а основные объективные метрики после ограничения полосы не оценивают всё широкополосное содержание. Онлайн- и офлайн-качество существенно различаются.
Фишка из статьи. В слепом опыте с 20 участниками авторы специально ограничивают полосу NeuroCodec до эффективной полосы M3ANet.
| Вариант | Средняя слушательская оценка | 95% интервал |
|---|---|---|
| M3ANet | 49,63 | 45,42–53,71 |
| NeuroCodec с совпадающей полосой | 58,49 | 55,06–62,31 |
| Полный NeuroCodec | 82,24 | 78,86–85,39 |
Как это читать: часть выигрыша сохраняется при совпадении полос, но большой дополнительный прирост связан с широкополосной реконструкцией. Поэтому разницу 82,24 против 49,63 нельзя целиком приписать лучшему определению внимания по ЭЭГ. Такой контроль полезен для любых генеративных улучшателей, которые одновременно меняют архитектуру и доступную слушателю полосу частот.
Источник. Оригинальное название: NeuroCodec: EEG-Guided Latent-Domain Generative Model for High-Fidelity Target Speaker Extraction. arXiv:2610.29815; полный текст PDF.