Распознавание диктора Диаризация VAE
arXiv cs.SD

FineSpeaker: локальные признаки диктора с VAE и генеративным обучением

ArXiv:2611.15288

Представление целой фразы может хорошо узнавать человека, но плохо работать на коротком «да» или границе смены говорящего. FineSpeaker учит локальные признаки диктора через сочетание классификации и генеративного восстановления. VAE здесь служит регуляризацией скрытого представления личности, а не готовым кодеком для передачи звука.

Метод. Четыре ступени многомасштабных свёрток и TCN сохраняют временно́е разрешение после начального уменьшения частоты вдвое. Далее 192-мерные признаки обрабатывает скользящее внимание с окном 51 позиция. При обучении запись делят на две непересекающиеся части: замороженный Whisper-Tiny извлекает содержание первой, речевой кодировщик личность из второй. VAE моделирует распределение признаков диктора с априорным центром его класса; после совмещения по времени признаки объединяют с содержанием, а DiT и мел-декодировщик обучают восстановлению через flow matching. Генеративная ветвь нужна только при обучении; для проверки личности и диаризации извлекают признаки с разным усреднением.

Генеративная ветвь учит признаки, но не нужна в рабочем тракте. Две половины записи: Непересекающиеся части одного обучающего примера. Whisper-Tiny, заморожен: Первая часть → признаки содержания. Локальный кодировщик: Вторая часть → 192-мерные признаки; внимание 51 позиция. VAE личности: Новое: случайные признаки и KL к центру класса. Совместное представление: Содержание + личность, совмещение по времени. DiT + мел-декодировщик: Только обучение: flow matching и восстановление первой части. Рабочий выход: Признаки диктора → среднее по нужному числу кадров.
Схема по материалам статьи, разделы III–IV, рисунки 2–4 и таблица VI. Первая половина записи даёт содержание, вторая признаки диктора. Внутренние операции DiT и VAE опущены. Выходной шаг 20 мс не равен задержке: внимание симметрично.

Результаты. На VoxCeleb1-O EER полной модели равен 0,6699% для целой фразы, 3,8427% для одной секунды и 4,7404% при усреднении двух выходных кадров. На VoxConverse DER для двух кадров 10,580%, а на AMI-SDM 22,255%. Английские модели обучаются на VoxCeleb2, китайские на CN-Celeb; диаризация проверяется без специального обучения на целевом корпусе. Два выходных кадра занимают около 40 мс, но модель видит существенно больше контекста через свёртки и симметричное внимание.

Ограничения. Нельзя трактовать шаг признаков как задержку: окно внимания включает будущие позиции, поэтому это не доказанный причинный потоковый метод с задержкой 40 мс. При сравнении кодировщиков необходимо выравнивать реальную длительность, а не только число кадров. Генеративный компонент улучшает не все режимы и не изолирует личность идеально. Для VAE не представлены битрейт, квантованный поток и самостоятельное восстановление звука при применении; называть его компрессором некорректно.

Фишка из статьи. Таблица VI позволяет отделить эффект генеративной ветви от простого обучения на коротких фразах. Удаление генератора почти не портит результат двух кадров, а обучение короткими фразами даже лучше на 0,5 с. Преимущество полной модели становится яснее на более длинном входе.

ВариантEER: 0,5 с, %EER: 2 с, %EER: 2 кадра, %
Полная модель9,12261,73454,7404
Без генеративной ветви10,45811,84264,9340
Обучение короткими фразами8,79772,03674,7039

Как это читать: генеративное обучение даёт компромисс между длительностями, а не универсальный выигрыш в каждой ячейке. Само наличие VAE не объясняет весь большой отрыв от других кодировщиков: существенна локальная архитектура. Формулировка «два кадра» обозначает усреднение выхода, а не отсутствие контекста за пределами этих 40 мс.

Источник. Оригинальное название: FineSpeaker: Reliable Speaker Representation Learning at Fine Temporal Resolution. arXiv:2611.15288; полный текст PDF.

Оригинальная статья на arXiv