FOAdapter: подключаемый пространственный токенизатор для низкобитового кодирования речи в FOA
FOAdapter добавляет пространственные токены к замороженному монофоническому речевому кодеку: канал W передаёт содержание, а отдельная причинная ветвь кодирует направление и акустику FOA всего в 275 бит/с. Такой разнос позволяет подключать один адаптер к DAC, Mimi или MOSS и не кодировать четыре амбисонических канала независимо.
Метод. Пространственная ветвь из 28,84 млн параметров получает все FOA-каналы и использует два RVQ-словаря по 2048 элементов при 12,5 токена в секунду. Её обучают на 544,53 часа Spatial LibriSpeech с пространственным контролем, контрастивной целью, согласованием FOA и состязательной потерей; базовый монофонический кодек остаётся замороженным и обрабатывает только W.
Результаты. Для трёх базовых кодеков ошибка направления остаётся в узком диапазоне 6,66–6,86°, а общий битрейт снижается на 66–74% относительно независимого кодирования каналов. MOSS-8+FOAdapter при 1,275 кбит/с даёт ошибку 6,68°, WER 9,13% и субъективную оценку 54,78; MOSS-3 с независимыми каналами при 1,5 кбит/с — 24,52°, 13,79% и 49,33. Но MOSS-8 с независимыми каналами при 4 кбит/с звучит заметно лучше: 76,63.
Ограничения. Обучение и тест в основном синтетические, с одним неподвижным говорящим и фиксированным приёмником. Пространственная ветвь сама по себе немала, качество речи уступает более высокому битрейту, а движение, несколько источников и реальные микрофонные несоответствия не проверены.
Фишка из статьи. Перестановка пространственных токенов между двумя записями показывает, что они действительно управляют направлением отдельно от содержания, а не просто несут дополнительную копию речи.
| Проверка после замены токенов | Результат |
|---|---|
| Выход ближе к направлению донора | 97,4% из 1000 случаев |
| Ошибка до направления донора | 8,48° |
| Ошибка до исходного направления | 91,12° |
| WER относительно исходного содержания | 9,55% |
| WER относительно речи донора | 106,77% |
Как это читать: после замены меняется пространственное положение, но слова остаются от исходной записи. Это сильнее обычной метрики локализации подтверждает разделение семантического и пространственного потоков.
Источники. страница arXiv; PDF статьи. Оригинальное название: FOAdapter: A Plug-and-Play Spatial Tokenizer for Low-Bitrate FOA Speech Coding.