SpeakerTurn: распознавание речи целевого говорящего и определение состояния его реплики

В смеси голосов важно не только понять слова, но и определить, закончил ли нужный человек говорить. SpeakerTurn адаптирует языковую часть CocktailASR-1 так, чтобы по независимому голосовому образцу получить текст целевого говорящего и одно из пяти состояний реплики. Отдельный интерес представляет отрицательный результат: структурированное объяснение помогает тексту, но мешает решению о ходе диалога.

Метод. Речевой кодировщик и проекция заморожены, в языковую модель добавлены LoRA-адаптеры ранга 16, около 7,67 млн обучаемых параметров. На входе смесь, образец голоса длиной 1–4 с и инструкция; отдельный разделитель источников не используется. Состояния включают завершение, незавершённость, краткое подтверждение, ожидание и отсутствие целевого говорящего. Обучение использует около 115 тыс. преимущественно синтетических условий с английской и китайской речью, сгенерированными текстами, наложениями и независимыми образцами голоса. Для режима CoT промежуточные признаки заданы шаблонами из меток, а не человеческими объяснениями.

Результаты. На исходном тесте из 390 условий пяти состояний вариант без CoT получает macro F1 0,811 и точность 83,33%. На 350 смесях CER целевой транскрипции равен 4,20% против 30,69% у замороженного CocktailASR-1 с исходной инструкцией. Английский WER составляет 6,48%. Все 40 условий отсутствия и десять пар со сменой голосового образца решены верно, но масштаб этих проверок мал. Ошибки не исчезли: 25 из 60 незавершённых реплик и 22 из 50 кратких подтверждений принимаются за завершённые.

Ограничения. Это классификация уже обрезанного префикса с границей, заданной генератором, а не непрерывное измерение момента окончания речи. Реальные многоголосные разговоры, эхо устройств, комнатные отражения и полная задержка не проверены; часть синтетических меток кратких подтверждений требует человеческой проверки. Обычные распознаватели не получают голосового образца, поэтому сравнение одновременно измеряет выбор говорящего и распознавание. После адаптации исходная инструкция распознавания работает хуже: выигрыш относится к обученному совместному интерфейсу. Основной результат получен для одного зерна обучения.

Фишка из статьи. Таблицы I–III показывают устойчивое расхождение целей при добавлении структурированного CoT. На отдельной валидации сравнение выполнено при одинаковом числе обновлений; на тесте сохраняется тот же знак эффекта.

Как это читать: более точная транскрипция не гарантирует более точного управления диалогом. На тесте полнота распознавания кратких подтверждений при CoT падает с 52% до 32%. Выбирать вариант только по CER опасно: система начнёт лучше записывать слова, но чаще будет неверно трактовать намерение продолжить разговор. Шаблонное объяснение здесь является формой дополнительной обучающей цели, не доказательством корректного внутреннего рассуждения.

Источник. Оригинальное название: SpeakerTurn: Target-Speaker Semantic Turn Detection in Multi-Speaker Environments. arXiv:2610.39828; полный текст PDF.