Разделение речи Короткие реплики Фазовая устойчивость
arXiv eess.AS

Kezek: отдельные дорожки двух собеседников из монофонического разговора

ArXiv:2611.16933

Короткое «да» на фоне длинной фразы другого человека легко исчезает после разделения речи. Kezek решает именно задачу двух собеседников: сначала устанавливает их личности и активность по всей записи, затем разделяет смесь с этими подсказками. Работа полезна не только итоговыми числами, но и подробной картой случаев, где сохранение тихих реплик всё ещё не удаётся.

Метод. Первая стадия объединяет акустический отпечаток диктора и PairNet, получая два глобально согласованных профиля и две дорожки активности. Вторая стадия, разделитель на основе Conv-TasNet с 19,6 млн параметров, обрабатывает восьмисекундные фрагменты с этими условиями. Всего собственные модули содержат около 41 млн параметров. Выходные дорожки в точности складываются в исходную смесь: yA + yB = x. Это не восстановление чистой речи без шума; цель состоит в правильном распределении записи между участниками без перестановок их личности.

Сначала глобальные личности, затем разделение с подсказкой. Монофоническая смесь x: 16 кГц; вся запись доступна заранее. Отпечаток + PairNet: Новое: согласованные личности и активность двух голосов. Профили A/B + активность: Условия для каждого восьмисекундного фрагмента. Разделитель, 19,6 млн: Новое: условное разделение без смены личности. Дорожка A: yA: Голос A; сумма yA + yB = x. Дорожка B: yB: Голос B; это не удаление всего шума.
Схема по материалам статьи, разделы 2–3 и 7, рисунок 1, таблица 9. Показан офлайн-режим ровно двух говорящих. Внутренние остаточные блоки разделителя опущены; равенство суммы выходов является свойством всей схемы.

Результаты. На 121 разговоре OpenYap, ограниченном первыми 300 секундами, доля сохранённых коротких ответов по энергетическому критерию повышается с 0,687 у цепочки pyannote + DialogueSidon до 0,830. Утечка чужого голоса снижается с -10,1 до -13,9 дБ, покрытие сессий возрастает с 0,735 до 1,000. На RTX PRO 6000 скорость составляет 231 час аудио на час GPU против 51. Но на общей части возвращённого обоими методами материала сохранность почти одинакова: 0,865 против 0,859. Поэтому важная доля преимущества связана с покрытием, а не с безусловно лучшим разделением каждого фрагмента.

Ограничения. Система рассчитана на двух говорящих, использует всю запись и не является потоковым разделителем. Основные данные английские; OpenYap участвовал в разработке, а CallHome не предоставляет идеальных раздельных дорожек для всех измерений. Работа также показывает чувствительность отпечатков к фазе: телефонная IIR-фильтрация может вредить сильнее фильтра с нулевой фазой, а фазовые аугментации помогают. Это смежный с фазовой обработкой результат, но не отдельный алгоритм фазового улучшения речи.

Фишка из статьи. Таблица 9 проверяет не только присутствие, но и слышимость ответа. На 20 проверочных разговорах для реплик более чем на 10 дБ тише другого голоса даже правильная активность не спасает разделитель. Это существенно строже энергетического критерия из основного теста.

МетодОтвет громче другогоОт 0 до -10 дБНиже -10 дБ
Kezek0,9650,8270,171
Разделитель + эталонная активность0,9470,8650,286
Идеальная относительная маска1,0001,0000,743

Как это читать: основной провал находится в очень тихих наложенных репликах, а не просто в ошибке определения активности. Даже идеальная маска не даёт единицу в самом трудном диапазоне. Эти числа нельзя напрямую сравнивать с 0,830 выше: отличаются часть данных и определение сохранённого ответа. Увеличение разделителя с 19,6 до 26 млн параметров почти не меняет SI-SDRi, поэтому рост размера сам по себе не решает проблему.

Источник. Оригинальное название: Kezek: Splitting Mono Two-Person Conversations into Per-Speaker Tracks for Full-Duplex Dialogue Data. arXiv:2611.16933; полный текст PDF.

Оригинальная статья на arXiv