SAUCE: проверка фактов и полноты резюме разговорной речи
SAUCE оценивает резюме разговора двумя раздельными вопросами: подтверждаются ли его факты исходником и какие важные факты пропущены. В отличие от одной непрозрачной оценки система сохраняет список проверенных утверждений и подтверждающие фрагменты. Но доступный список объяснений не превращает ошибающийся проверяющий классификатор в надёжный источник истины.
Метод. GPT-4o извлекает атомарные факты, а DeBERTa-v3-large-mnli проверяет логическое следование. Для Faithful каждый факт резюме сопоставляется с пятистрочными фрагментами разговора; достаточно превышения порога хотя бы одним фрагментом. Coverage использует ограниченный список важных фактов исходника, повторно выбираемых для устойчивости, и проверяет их наличие в резюме. Эталонное человеческое резюме не нужно, однако нужен сам разговор в текстовом виде. В экспериментах анализируются потери после распознавания и перевода разговоров с четырёх языков в английский.
Результаты. В малой внутренней проверке двенадцать участников дали 132 парных ранжирования. Kendall τ для Faithful с точностью равна 0,259, для Coverage с информативностью 0,475; согласие участников около 60%. Это полезная, но не почти идеальная связь. Корреляция Coverage 0,677 в другом опыте относится к предполагаемому порядку «правильный текст лучше ASR+MT», не к человеческим оценкам. В конкретном испанском примере покрытие падает с 0,60 по человеческому переводу до 0,20 после распознавания и перевода, тогда как подтверждаемость фактов остаётся 0,84.
Ограничения. Извлечение зависит от закрытого API GPT-4o, а NLI обучен на обычном тексте, не на разговорных условностях. Подмена говорящего, гипотетическая ситуация и необходимость длинного контекста вызывают ошибки. Число важных фактов и длина резюме влияют на Coverage. Ранжирование по наличию ASR-ошибок — допущение: оно не доказывает ухудшение каждого отдельного резюме. Внутренняя проверка точности извлечения фактов выше 98% не заменяет независимой проверки всей цепочки.
Фишка из статьи. Таблица 1 показывает цену поиска подтверждения по всему разговору. На разговорном NLI-наборе при пороге 0,9 охват истинных следствий растёт, но распознавание неподтверждённых утверждений ухудшается.
| Область проверки и порог | Точность на подтверждённых, % | Точность на неподтверждённых, % | Общая точность, % |
|---|---|---|---|
| Выбранный фрагмент, 0,90 | 88,4 | 63,6 | 77,0 |
| Весь разговор, 0,90 | 92,2 | 39,7 | 68,1 |
| Выбранный фрагмент, 0,98 | 80,0 | 77,1 | 77,0 |
| Весь разговор, 0,98 | 85,0 | 61,4 | 74,2 |
Как это читать: если достаточно одного положительного фрагмента, больше контекста одновременно создаёт больше шансов ложного подтверждения. Повышение порога уменьшает эту ошибку ценой пропуска настоящих фактов. Поэтому таблица фактов полезна как интерфейс аудита, но высокий Faithful не следует автоматически трактовать как отсутствие галлюцинаций; требуется отдельно контролировать ложные подтверждения и полноту.
Источник. Оригинальное название: SAUCE: Summary Analysis Using Conversation Entailment. arXiv:2611.06812; полный текст PDF; DOI: 10.18653/v1/2026.gem-main.34