GhostPrefix: универсальные звуковые префиксы как угроза устойчивости распознавания речи

Краткий звук перед обычной речью может заставить распознаватель добавить команду или исказить дальнейшую транскрипцию. GhostPrefix исследует перенос заранее найденного воздействия на новые реплики без знания их содержания и точного выравнивания. Для инженера голосового агента это проверка границы доверия: распознанный текст не становится достоверной пользовательской инструкцией только потому, что пришёл из микрофона.

Метод. Авторы рассматривают добавление заданного текста, подмену транскрипции и общее ухудшение распознавания. Для первых двух целей используются выходные последовательности модели, для третьей — расхождение внутренних представлений. Во время подготовки моделируются вариации времени и акустического канала; отдельное ограничение приближает звук к бытовому шаблону. Важное уточнение: универсальность относится к неизвестным репликам, но для каждой модели и режима готовится свой префикс с доступом к её градиентам. Это не один звук, доказанно работающий на любом закрытом сервисе.

Результаты. В цифровом опыте на 13 открытых распознавателях средний успех добавления текста 97,6%, целевой подмены 93,4%, а WER при ухудшении 1,18, то есть 118%; WER может превышать 100% из-за вставок. Для добавления средний PP-WER остатка текста 0,082, но он сравнивается с исходным ответом модели, не обязательно с истинными словами. При воспроизведении через воздух заявлены 91,5% и 89,5% успеха двух режимов. Демонстрации голосового помощника и заметок показывают возможность распространения ошибки в следующий языковой компонент.

Ограничения. Основные данные английские, подготовка имеет доступ к целевой модели, перенос на неизвестные закрытые системы и адаптивные защиты не установлен. Акустические испытания используют ограниченное число исходных реплик и повторные проигрывания в нескольких условиях; сильный близкий звуковой источник не отражает все реальные условия угрозы. Последующие приложения оценены качественными примерами, не большим измерением частоты вредных действий. Описанные защиты являются направлениями, а не проверенными решениями с измеренными потерями качества. Высокий успех воздействия не доказывает его незаметность для слушателя.

Фишка из статьи. Таблица VI отделяет близость к звуковому шаблону от человеческой естественности. Онлайн-прослушивание включает 20 участников; оценки по шкале 1–5 сопровождаются большим разбросом. Здесь SNR измеряется относительно шаблона окружения, не относительно речи пользователя.

Как это читать: больший SNR к шаблону не гарантирует более естественное восприятие: вариант 25,1 дБ оценён хуже варианта 12,6 дБ. При проверке защищённости нужны разные оси: частота искажения текста, сохранность полезной речи, обнаружимость звука и способность последующего агента отвергать неподтверждённые действия. Авторы предлагают многоуровневую защиту, но их числа нельзя трактовать как готовую оценку риска для любого работающего речевого сервиса.

Источник. Оригинальное название: GhostPrefix: Synchronization-Free Universal Prefix Attacks for ASR Manipulation. arXiv:2610.42026; полный текст PDF.