Ускорение мультимодальной языковой модели через выбор входных модальностей для каждого запроса
Видео не всегда помогает модели, уже получившей вопрос и звук: оно может быть лишним или даже изменить правильный ответ на неверный. Авторы предлагают до основного вывода выбирать между «текст + звук» и «текст + звук + видео». Это экономия за счёт полного исключения дорогого входа, а не сжатия уже обработанных видеотокенов.
Метод. Базовые Qwen2.5-Omni-7B и Qwen3-Omni-30B-A3B остаются замороженными. На обучающих запросах WorldSense собирают правильность ответов и стоимость обоих вариантов. Метка маршрутизатора максимизирует правильность минус взвешенную стоимость, а вес примера равен разнице полезности лучшего и альтернативного решения. Сам выбор делает линейный слой над BGE-M3-представлением только текстового вопроса. Для другой цены ошибки или бюджета обучаются другие варианты параметра компромисса; знание правильности ответов нового запроса на выводе не требуется.
Результаты. При точности полного входа 48,00% у Qwen2.5 число входных токенов уменьшается с 41050 до 16877 на запрос, среднее время с 47,13 до 18,35 с, расчётная денежная стоимость на 38,94%. У Qwen3 при точности 51,79% экономия составляет соответственно 34,72, 34,56 и 24,85%. Это разные точки кривых для разных определений стоимости, а не обещание одной универсальной конфигурации со всеми минимумами одновременно.
Ограничения. Проверяется один набор вопросов и лишь бинарное решение о добавлении видео; звук никогда не исключается. Это не потоковый распознаватель и не доказательство переноса на произвольные аудиозапросы. Маршрутизатор зависит от обучающего распределения и может пропустить визуально необходимую информацию при необычной формулировке. Статья не даёт достаточно подробной декомпозиции затрат на кодировщик вопроса и селектор. Денежные значения рассчитываются по ценам модальных токенов, не являются фактическим счётом сервиса.
Фишка из статьи. Таблица 2 показывает отрицательный результат для популярного каскада: сначала дешёвый ответ, затем решение по заявленной моделью уверенности. При одинаковой итоговой точности сам каскад может стоить дороже полного входа.
| Метод для Qwen2.5-Omni | Изменение токенов относительно полного входа, % | Изменение задержки, % | Изменение денежной стоимости, % |
|---|---|---|---|
| Каскад по словесной уверенности | +7,73 | +4,33 | +38,94 |
| Каскад по вероятностям ответа | −28,65 | −32,51 | +3,74 |
| Оценить качество и цену, затем выбрать | −31,55 | −32,65 | −20,87 |
| Обучение с учётом стоимости | −58,89 | −61,07 | −38,94 |
Как это читать: экономия вычислений и экономия денег не обязаны совпадать. У каскада повторяется часть работы, а словесная уверенность плохо выбирает эскалацию; даже вероятностный вариант здесь немного повышает расчётную цену. Решение до основного вызова избегает этого двойного счёта, но требует заранее размеченных результатов обоих входных режимов.
Источник. Оригинальное название: Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection. arXiv:2610.31768; полный текст PDF.