Как жанр речи влияет на определение конца реплики

Система, обученная на законченных командах голосовому помощнику, может принимать обычные паузы разговора за разрешение отвечать. Авторы сравнивают два набора по 10000 реплик при одинаковой небольшой архитектуре: реальные разговоры людей и смесь реальных и синтетических обращений к машине. Работа интересна не рекордом средней точности, а масштабом переноса ошибок между жанрами.

Метод. Модель на 1,8 млн параметров получает 80 мел-полос и пять просодических признаков, затем использует свёртку и два однонаправленных LSTM. Для обоих обучающих наборов применяют общую процедуру разметки пауз и концов слов. Сигнал завершения должен держаться восемь кадров, то есть 80 мс. При этом свёртка использует 320 мс будущего контекста: однонаправленность LSTM не делает весь тракт строго причинным. Дополнительный опыт проверяет смысловую завершённость на положительных и отрицательных примерах с одинаковой паузой 150 мс, чтобы длительность тишины не подменяла задачу.

Результаты. На CASPER разговорное обучение повышает F1 с 0,694 до 0,959 и уменьшает долю ложных срабатываний с 44,7% до 6,6%. На внутренних разговорах F1 растёт с 0,444 до 0,894. Однако медианное время срабатывания на правильно найденных концах возрастает: на CASPER с 260 до 400 мс, на внутренних данных с 20 до 190 мс. На SLURP выигрыш F1 меньше, с 0,558 до 0,760. Контроль с одинаковыми паузами подтверждает, что эффект не сводится к более длинному ожиданию тишины.

Ограничения. Основная таблица выбирает лучший порог F1 отдельно на каждом тесте, поэтому показывает верхнюю оценку переноса, а не один готовый производственный порог. При общем пороге 0,7 преимущество разговорного обучения сохраняется. Временная метрика допускает срабатывание на 50 мс раньше разметки, не ограничивает позднее и считается лишь по найденным концам; она не равна полной задержке с учётом 320 мс контекста. Частный разговорный набор закрыт, а жанр смешан с языком, доменом и наличием синтеза, что мешает строго причинной интерпретации.

Фишка из статьи. Таблица II показывает, какую цену платят за очень быстрое решение. Здесь FA является долей ложных срабатываний по определению авторов, а время относится только к правильно обнаруженным концам.

Как это читать: самое маленькое время не означает удобного собеседника: оно может сопровождаться постоянными перебиваниями. Для голосового агента полезнее совместно выбирать приемлемую частоту ложных ответов и время ожидания, проверяя жанр реальных разговоров. Из этой таблицы нельзя заключать, что добавление ровно 140 мс ожидания само по себе воспроизведёт выигрыш обучения.

Источник. Оригинальное название: The Importance of Speech Genre for End-of-Turn Detector Training. arXiv:2610.39742; полный текст PDF.