GTCRN-SS: компактное причинное разделение речи с распределением остатка и уточнением реконструкции
GTCRN-SS превращает компактную сеть улучшения речи в двухступенчатый разделитель говорящих. Вместо принудительного распределения всей смеси между голосами первая ступень оставляет отдельную внутреннюю ветвь для остатка, а вторая уточняет результат с учётом восстановленной суммы речи. Это полезный пример того, как контракт между ступенями влияет на качество сильнее простого увеличения сети.
Метод. Сеть работает с комплексной спектрограммой, ERB-сжатием и группированными рекуррентными блоками. Первая ступень строит K речевых оценок и внутренний остаток; отдельной эталонной цели для остатка нет. Их речевая сумма становится дополнительным условием второй ступени, которая снова оценивает маски исходной смеси, а не последовательно маскирует уже повреждённый сигнал. Низкоранговый адаптер переносит выровненные по кадрам рекуррентные состояния между проходами. Временные операции не используют будущие признаки, но центрированное STFT всё же требует будущие отсчёты.
Результаты. На шумном Libri2Mix, два говорящих и 8 кГц, получены SDRi 10,1 дБ и SI-SNRi 9,5 дБ при 0,9 млн параметров и 6,1 млрд MAC на секунду входа. Восьмисекундная запись обрабатывается за 205,2 мс на RTX 3060 и за 4888,4 мс на одном потоке Ryzen 5 7500F. Последнее соответствует RTF около 0,61, вычисленному как 4,8884/8. Но на секундном входе GPU-реализация медленнее TFACM-Small: 84,0 против 60,9 мс.
Ограничения. Это измерения целых записей, не задержки потоковой выдачи. STFT добавляет 16 мс анализа вперёд; проходящий проверку неизменности префикса защитный интервал 24 мс тоже не является измеренной задержкой системы. Внимание по всему прошлому не доказывает ограниченную память. Сравнения с внешними статьями используют неодинаковые протоколы, а интервалы по тестовым записям не учитывают вариацию повторного обучения.
Фишка из статьи. В таблице 2 варианты обучены заново с отключёнными информационными путями. Важно, что последний вариант одновременно убирает выход для остатка и меняет условие второй ступени: его нельзя трактовать как чистую проверку одной дополнительной ветви.
| Конфигурация | SI-SNRi, дБ | SDRi, дБ |
|---|---|---|
| Полная | 9,5 | 10,1 |
| Без переноса состояний | 8,1 | 8,8 |
| Без условия реконструкции | 7,7 | 8,4 |
| Только K согласованных ветвей; условие = смесь | 6,1 | 6,4 |
Как это читать: суммарный спад последней строки составляет около 3,4 дБ SI-SNRi, но причинно разделить вклад остатка и нового условия по этому опыту нельзя. Отдельная диагностика показывает корреляцию внутреннего остатка с истинным остатком 0,843 против 0,139 с речью; это подтверждает его роль, но не превращает его в обученную по эталону оценку шума.
Источник. Оригинальное название: GTCRN-SS: Lightweight Causal Speech Separation with Residual Allocation and Reconstruction Refinement. arXiv:2611.09358; полный текст PDF.