SLM-SS: разделение речи через генерацию токенов речевой языковой моделью
SLM-SS формулирует разделение одновременно говорящих людей как генерацию последовательностей аудиокодека. Вместо восстановления только маски спектра модель предсказывает речь каждого участника в дискретном пространстве. Работа особенно полезна сравнением разборчивости, субъективного качества и стоимости: эти критерии выбирают разные конфигурации.
Метод. WavLM кодирует непрерывную смесь, авторегрессионный декодер формирует первый кодовый слой и порядок участников через Serialized Output Training. Затем неавторегрессионная часть дополняет остаточные слои Encodec, причём раздельная обработка каждого участника упрощает задачу. Для обучения используются восемь слоёв из 32 доступных. Однослойный WavTokenizer позволяет полностью убрать неавторегрессионное уточнение. Оцениваются чистые, шумные и китайские смеси, а также небольшое слушательское сравнение.
Результаты. На Libri2Mix версия с раздельным NAR достигает WER 6,92% против 7,24% у исходной SLM-SS и 6,31% у одного только восстановления чистой речи Encodec8. Однако TF-LocoFormer имеет WER 5,88% и PESQ 3,51 против 2,30. WavTokenizer даёт лучшую среднюю слушательскую оценку 81,41, но WER 8,97%. Субъективная проверка включает 30 слушателей и лишь 16 выделенных речевых сигналов.
Ограничения. Текущий вариант работает офлайн: кодировщик и перекрёстное внимание используют полный контекст. Последовательность растёт с числом участников, усиливая накопление ошибок и риск неверных границ. Кодек сам задаёт потолок разборчивости. Автоматические UTMOS и DNSMOS нельзя приравнивать к человеческому MOS; небольшая слушательская выборка и пересекающиеся интервалы требуют осторожности с превосходством по среднему баллу.
Фишка из статьи. Таблица VI показывает, что меньше операций не означает меньшую задержку. Измерения сделаны на RTX 4090, FP16, batch 1; языковые модели используют поиск с шириной 20.
| Конфигурация | GMAC на секунду входа | RTF | WER, % |
|---|---|---|---|
| WavTokenizer, Large + 48M | 84,56 | 0,64 | 9,43 |
| WavTokenizer, Large + 212M | 366,39 | 1,35 | 8,97 |
| TF-LocoFormer | 250,20 | 0,08 | 5,88 |
Как это читать: последовательная генерация токенов ограничивает скорость даже при сравнительно небольшом числе арифметических операций. Увеличение декодера улучшает WER не пропорционально стоимости. Для практического разделения важны одновременно кодек, режим поиска, задержка и ошибки содержания, а не только число параметров или приятность звучания.
Источник. Оригинальное название: SLM-SS: Token-Based Speech Separation with Speech Language Models. arXiv:2610.27785; полный текст PDF.