Голосовые агенты Телефония Устойчивость
arXiv cs.CL

FEND: кто ответил голосовому агенту — человек, автоответчик, IVR или другой ИИ

ArXiv:2611.18050

Для исходящего голосового агента двоичного ответа «человек или машина» недостаточно: почте нужно оставить сообщение, IVR пройти, а с помощником абонента продолжить разговор. FEND разделяет эти случаи и объединяет неоднородные свидетельства: звуковой тон, текст приветствия и временную структуру речи. Самый практический результат связан с арбитражем: наиболее ранний сигнал далеко не всегда наиболее надёжен.

Метод. Параллельно работают детектор тона записи через STFT, поиск фраз голосовой почты в потоковой расшифровке, две LLM-проверки для почты и IVR и логистический классификатор ИИ-абонента по семи временным признакам. Последний использует межсловные паузы и темп из временных меток распознавателя. В течение 20 секунд копят срабатывания, затем выбирают высший приоритет: почта, IVR, ИИ; HUMAN остаётся значением по умолчанию. На публичном наборе применяется Whisper small, во внутренних звонках другой, закрытый распознаватель; текстовые проверки используют GPT-4o.

Быстрое срабатывание не равно окончательному решению. Канал вызываемого: Аудиокадры и потоковая расшифровка. Голосовая почта: Тон / фразы / LLM; сигнал может прийти позже. Организация: IVR: Меню, очередь или деловое приветствие через LLM. ИИ на стороне абонента: Новое: 7 признаков темпа и межсловных пауз. Окно решения 20 с: Новое: приоритет VM > IVR > AI; не первое срабатывание. Один из четырёх классов: HUMAN по умолчанию, если нет положительного свидетельства.
Схема по материалам статьи, рисунок 1, раздел 3 и таблицы 3–4. Объединены три детектора почты: тон, ключевые фразы и LLM. Другая ветвь определяет IVR через LLM. Все срабатывания копятся; порядок VM > IVR > AI не является порядком прихода. Времена — от ответа на звонок, не время расчёта.

Результаты. На отложенной внутренней части из 501 звонка четырёхклассовая точность равна 0,938. Для выделения человека F1 составляет 0,979; 7 из 241 людей ошибочно получают автоматическую метку, то есть 2,9%. Однако полнота класса ИИ всего 0,457: 18 из 35 таких звонков уходят в голосовую почту. В отдельном анализе ритма на 67 ИИ-звонках и 62 человеческих AUROC равен 0,952, полнота при бюджете 5% ложных срабатываний на человеке — 0,774. Эти числа не следует подменять итоговой четырёхклассовой полнотой.

Ограничения. Данные одной эксплуатации закрыты, ИИ-примеры относятся к одному типу помощника для фильтрации звонков, а информативные человеческие приветствия составляют небольшое меньшинство. Результат зависит от поведения временных меток конкретного распознавателя. Во внутреннем тесте всего два IVR-звонка. Спектральные признаки в межкорпусной проверке почти не отделяют синтез от человека; более высокие оценки в одном канале оказались артефактом. Тест против Asterisk не заменяет сравнения со всеми коммерческими системами.

Фишка из статьи. Таблица 4 измеряет время от ответа на звонок до срабатывания, только среди срабатываний в окне 20 с. Классификатор ИИ самый быстрый, но его признак менее специфичен; он получает низший приоритет. Если поставить его выше почты, точность четырёх классов падает с 0,938 до 0,796, а точность положительных ИИ-меток — с 0,762 до 0,260.

СвидетельствоМедиана срабатывания, сp90, с
Ритм: ИИ-абонент2,026,98
Фраза голосовой почты3,2414,70
Звуковой тон8,8616,25
LLM: голосовая почта8,9113,07

Как это читать: здесь большую часть времени занимает поступление доказательства, а не расчёт. Решение по первому срабатыванию закрепило бы ранний, но неоднозначный признак. Приоритет повышает общую точность ценой пропусков ИИ-абонентов; этот компромисс нужно оценивать по классам, а не только по общей F1.

Источник. Оригинальное название: FEND: Far-End Detection in Outbound Voice AI Calls. arXiv:2611.18050; полный текст PDF.

Оригинальная статья на arXiv