IRIS-Embed: поиск по речевым записям с учётом инструкции и выбором слоёв аудиокодировщика

Один и тот же речевой запрос можно использовать для поиска похожего голоса, манеры речи или подходящего ответа. IRIS-Embed учит общую аудиоязыковую модель менять смысл сходства по инструкции. Ключевой ход состоит в том, чтобы не ограничиваться последним слоем аудиокодировщика: нужная информация о голосе и содержании находится на разных глубинах.

Метод. Контрастивная функция сближает запрос с релевантной записью при заданной инструкции. Малый модуль по тексту инструкции рассчитывает веса скрытых состояний всех слоёв замороженного аудиокодировщика, включая входное состояние. Для документов применяется фиксированная инструкция и единые веса, поэтому базу можно индексировать заранее; меняются веса запроса, а не весь индекс под каждый поиск. В языковой части обучаются LoRA-адаптеры. Собрано около 900 тысяч примеров, примерно 800 тысяч из реальных данных и 100 тысяч синтетических.

Результаты. На INSPIRE Qwen2.5-Omni-3B с IRIS-Embed достигает macro Recall@50 62,92%, Gemma-4-E2B-it 47,41%; лучший предшествующий ориентир имеет 45,15%. Для первой модели переход от последнего слоя к управляемому смешиванию повышает средний результат с 48,56 до 62,92%. На 15 задачах MAEB получены средние 53,5 и 52,9, приросты к соответствующим LALM-ориентирам 9,4 и 19,8 процентного пункта. Это поиск среди кандидатов, не WER распознавания и не качество генерации.

Ограничения. Проверены только две сравнительно небольшие базовые модели и ограниченный набор языков, голосов и акустических условий. Ошибки аннотаций и классификаторов влияют на построение пар. Если замороженный кодировщик уже потерял свойство, смесь его слоёв это свойство не восстановит. Визуализация весов не доказывает причинный вклад каждого слоя. Не проверен более сильный каскад со специализированными признаками диктора и атрибутов; универсальность не равна превосходству каждого специализированного решения.

Фишка из статьи. Таблица 2 объясняет, почему нельзя просто выбрать один «лучший» слой. Ниже Recall@50 для одной модели при сопоставимом обучении; DailyTalk проверяет диалоговый поиск, VCTK голос, Expresso манеру речи.

Как это читать: слой, сильный для диалога, заметно слабее для голоса. Динамические веса улучшают баланс, но не побеждают в каждом столбце: последний слой остаётся лучше на DailyTalk, слой 13 на Expresso. Среднее также включает синтетическую часть INSPIRE, отсутствующую в отдельных столбцах этой сокращённой таблицы.

Источник. Оригинальное название: Improving Large Audio-Language Model Embedding Baselines for Instruction-Aware Speech Retrieval. arXiv:2611.09122; полный текст PDF.