FEND: кто ответил голосовому агенту — человек, автоответчик, IVR или другой ИИ
Для исходящего голосового агента двоичного ответа «человек или машина» недостаточно: почте нужно оставить сообщение, IVR пройти, а с помощником абонента продолжить разговор. FEND разделяет эти случаи и объединяет неоднородные свидетельства: звуковой тон, текст приветствия и временную структуру речи. Самый практический результат связан с арбитражем: наиболее ранний сигнал далеко не всегда наиболее надёжен.
Метод. Параллельно работают детектор тона записи через STFT, поиск фраз голосовой почты в потоковой расшифровке, две LLM-проверки для почты и IVR и логистический классификатор ИИ-абонента по семи временным признакам. Последний использует межсловные паузы и темп из временных меток распознавателя. В течение 20 секунд копят срабатывания, затем выбирают высший приоритет: почта, IVR, ИИ; HUMAN остаётся значением по умолчанию. На публичном наборе применяется Whisper small, во внутренних звонках другой, закрытый распознаватель; текстовые проверки используют GPT-4o.

Результаты. На отложенной внутренней части из 501 звонка четырёхклассовая точность равна 0,938. Для выделения человека F1 составляет 0,979; 7 из 241 людей ошибочно получают автоматическую метку, то есть 2,9%. Однако полнота класса ИИ всего 0,457: 18 из 35 таких звонков уходят в голосовую почту. В отдельном анализе ритма на 67 ИИ-звонках и 62 человеческих AUROC равен 0,952, полнота при бюджете 5% ложных срабатываний на человеке — 0,774. Эти числа не следует подменять итоговой четырёхклассовой полнотой.
Ограничения. Данные одной эксплуатации закрыты, ИИ-примеры относятся к одному типу помощника для фильтрации звонков, а информативные человеческие приветствия составляют небольшое меньшинство. Результат зависит от поведения временных меток конкретного распознавателя. Во внутреннем тесте всего два IVR-звонка. Спектральные признаки в межкорпусной проверке почти не отделяют синтез от человека; более высокие оценки в одном канале оказались артефактом. Тест против Asterisk не заменяет сравнения со всеми коммерческими системами.
Фишка из статьи. Таблица 4 измеряет время от ответа на звонок до срабатывания, только среди срабатываний в окне 20 с. Классификатор ИИ самый быстрый, но его признак менее специфичен; он получает низший приоритет. Если поставить его выше почты, точность четырёх классов падает с 0,938 до 0,796, а точность положительных ИИ-меток — с 0,762 до 0,260.
| Свидетельство | Медиана срабатывания, с | p90, с |
|---|---|---|
| Ритм: ИИ-абонент | 2,02 | 6,98 |
| Фраза голосовой почты | 3,24 | 14,70 |
| Звуковой тон | 8,86 | 16,25 |
| LLM: голосовая почта | 8,91 | 13,07 |
Как это читать: здесь большую часть времени занимает поступление доказательства, а не расчёт. Решение по первому срабатыванию закрепило бы ранний, но неоднозначный признак. Приоритет повышает общую точность ценой пропусков ИИ-абонентов; этот компромисс нужно оценивать по классам, а не только по общей F1.
Источник. Оригинальное название: FEND: Far-End Detection in Outbound Voice AI Calls. arXiv:2611.18050; полный текст PDF.