Аудиопредставления Межмодальное выравнивание Временная синхронизация
arXiv cs.AI

CounterPoint: временные траектории отличают событие от другого события в тех же условиях

ArXiv:2611.24249

Усреднённый вектор может правильно определить материал и действие, но спутать два разных касания одной поверхности. CounterPoint добавляет к такому вектору синхронную траекторию, сохраняя мелкие общие колебания звука и тактильного сигнала. Выигрыш велик, но сдвиг на один 40-мс кадр убирает большую часть преимущества.

Метод. Общие кодировщики выдают кадры раз в 40 мс. Исходная ветвь усреднённого представления сохраняется; новая линейно переводит признаки в 64 измерения и вычитает среднее каждой записи по времени. Сравниваются именно совпадающие моменты траекторий, без поиска сдвига или DTW. Итоговый балл складывает сходство общих векторов и нормированную согласованность траекторий. При обучении отрицательным примером служит другое выполнение того же движения в тех же условиях: сеть не может решить задачу только по материалу или скорости. Добавка параметров составляет 0,4%, пиковой памяти обучения — 0,7%. Теоретическое объяснение потери событий при усреднении опирается на условия стационарности и перемешивания, а не утверждает бесполезность любого агрегирования.

Общее свойство остаётся в точке, конкретное событие — в траектории. Синхронные аудио и датчики: Общие кодировщики: один кадр каждые 40 мс. Усреднённое представление: Исходная ветвь сохраняет материал и действие. Траектория в 64 измерениях: Новое: линейная проекция минус среднее по времени. Сопоставить одинаковые кадры: Новое: согласованность временной микродинамики. Обучение: twin-негатив: Новое: другое событие при тех же условиях. Общий + временной балл: Поиск конкретного события, не только категории.
Схема по материалам статьи, рисунок 2, уравнения 4–6 и таблица 4. Синхронные кадры сопоставляются в одинаковые моменты; поиск временного сдвига не выполняется. Центрирование — отдельно по времени каждой записи, не по классу. При обучении twin — другое выполнение в тех же условиях; оно отрицательно для событий. Показана логика двух ветвей, а не полная трёхмодальная развёртка кодировщиков. Новое отмечено словом; 40 мс рассинхронизации резко ухудшают результат.

Результаты. На Cluster Haptic Texture робот повторяет движения по 118 текстурам, меняя направления, скорость и силу. Для TRIANGLE средний R@1 межмодального поиска растёт с 19,4% до 40,0%, а точность различения двух событий в одинаковых условиях с 58,5% до 81,1%. Поиск между звуком и осязанием даёт 58,2% вместо 27,4%. На HAVdb с движениями десяти людей средний R@1 возрастает с 8,7% до 87,4%. Однако визуальный канал роботного набора содержит главным образом траекторию, не микровариации контакта: задача HA→V почти не улучшается, 3,4→3,5%.

Ограничения. Это синхронизированные физические события, не проверка распознавания речи или говорящего. Для реального аудиовизуального потока потребуется контроль часов и задержек датчиков. Малое число новых параметров скрывает цену поиска: 1000 запросов по миллиону кандидатов занимают 145 мс вместо 34 мс у одних общих векторов в данном измерении. Надёжность при дрейфе времени, пропусках кадров и несопоставимых сенсорах отдельно не доказана.

Фишка из статьи. Абляция таблицы 4 отличает пользу синхронизации от просто дополнительной обучающей цели. Один кадр смещения кандидата снижает средний поиск почти до исходного уровня. При этом исключение специальных отрицательных примеров вредит гораздо меньше.

Вариант на ClusterR@1 звук–осязание, %Средний R@1, %Точность события, %
Полный CounterPoint58,240,081,1
Сдвиг кандидата 40 мс32,322,760,7
Сдвиг 160 мс29,020,459,1
Перестановка кадров29,020,559,2
Без twin-негативов55,738,378,8

Как это читать: новая ветвь действительно использует совпадение микродинамики, а не только более богатую статистику всей записи. Это одновременно объяснение успеха и инженерное ограничение: синхронизация здесь часть метода, не второстепенная предварительная обработка. Визуальная траектория, не несущая информации о конкретном контакте, не становится информативной от одного выравнивания.

Источник. Оригинальное название: From Points to Trajectories: Rethinking Multimodal Alignment for Physical Events. arXiv:2611.24249; полный текст PDF.

Оригинальная статья на arXiv