EmbeddingGemma 2: единые компактные представления текста, изображений, аудио и видео

EmbeddingGemma 2 позволяет искать текст непосредственно по произнесённому запросу без обязательной промежуточной расшифровки. Общий векторный слой обслуживает текст, звук и изображения, а ненужные модальные кодировщики можно не загружать. Для речевых приложений главное достижение не общий рейтинг модели, а выигрыш прямого аудиовхода и его цена по памяти.

Метод. Плотная текстовая часть на 271 млн параметров получает двунаправленное внимание вместо причинного, среднее по токенам и нормализованную проекцию размерности 768. Замороженный USM-подобный кодировщик из Gemma 4 добавляет около 305 млн параметров; аудиотракт всего 577 млн. Мел-фильтробанки превращаются в 25 непрерывных токенов в секунду. Обучение проходит через текстовую и мультимодальную дистилляцию, затем контрастивную настройку; Matryoshka позволяет обрезать вектор до 512, 256 и 128 координат. Всего предъявлено около 2,9 трлн токенов разных модальностей.

Результаты. На MSEB Retrieval, где произнесённый запрос ищет текст на том же или другом языке в 26 языках и региональных вариантах, MRR@10 равен 69,54 против 57,59 для той же текстовой основы после распознавания. На MAEB среднее по 30 аудиозадачам 49,9, а не универсальное превосходство над специалистами: CLAP остаётся сильнее на части звукового поиска. Q4_C даёт заявленный пик памяти 567 МБ для полной мультимодальной модели на Pixel 11 Pro, включая накладные расходы компиляции; это не измерение речевой задержки.

Ограничения. Шаг акустических токенов 40 мс не означает потоковую задержку: итоговое представление использует двунаправленный контекст. Прямой звук и текст после распознавания имеют разную вычислительную цену и число параметров. Подробный состав огромной обучающей смеси не позволяет независимо воспроизвести подготовку. В таблице квантования аудиооценка меняет и оценочный инструментарий, поэтому всё падение нельзя приписать только разрядности. Семантический вектор не является готовым голосовым отпечатком: некоторые задачи группировки по паралингвистике остаются слабыми.

Фишка из статьи. Таблица 11 отделяет преимущество аудиовхода от возможности дешёво хранить индекс. Это MRR@10, умноженный на 100; размерность меняет хранение векторов, но не убирает сам акустический кодировщик.

Как это читать: 256 координат сохраняют большую часть выигрыша при втрое меньшем числе значений в индексе, но 128 уже опускают общий результат ниже текстового пути. Такой порог нельзя выбирать только по объёму памяти: нужно проверить язык запросов и домен. Выигрыш прямого звука показывает полезность сохранённой акустической информации, но сам по себе не устанавливает, какая доля связана с акцентом, ошибками распознавания или другими причинами.

Источник. Оригинальное название: EmbeddingGemma 2: Unified and Efficient Multimodal Representations. arXiv:2610.37364; полный текст PDF.