SciPhi-Chat: пространственный аудиоагент с диалогом и вызовами инструментов

SciPhi-Chat соединяет понимание содержания звука с ответами о направлении, расстоянии и акустическом окружении. Пространственная информация поступает из четырёхканального Ambisonics первого порядка, а речь дополнительно обрабатывается отдельным кодировщиком. Интересен не только общий результат, но и то, насколько по-разному рассуждение помогает содержательным и геометрическим вопросам.

Метод. В основе лежит Phi-4-multimodal. Замороженный FOA-VAE с 29,6 млн параметров кодирует комплексные спектры четырёх каналов в непрерывное 512-мерное представление с частотой 7,8 Гц; обучаемый проектор передаёт его языковой модели. Отдельный замороженный Conformer получает всенаправленный канал W. Декодер адаптируется через LoRA. Это использование автоэнкодера как скрытого представления, не готовый кодек со специфицированным битовым потоком: битрейт здесь не установлен. На 5,50 млн синтетических диалоговых трасс модель учится отвечать и при необходимости вызывать четыре инструмента пространственного анализа, включая оценки направления и числа источников.

Результаты. На MASU точность одиночных ответов составляет 44,9% против 37,5% у связки SciPhi с Qwen 4B; в диалоге 36,7 против 28,2%. На ASABench результаты неоднородны: 74,5% для азимута, 60,0% для угла места, 47,3% для расстояния и 85,5% для акустики помещения. Вызовы инструментов тоже не дают универсальной прибавки: в отдельном раннем эксперименте принудительное применение снижает среднюю точность на 5,1 п.п., хотя подходящий инструмент заметно помогает отдельным задачам подсчёта и направления.

Ограничения. Обучение и большая часть оценки опираются на синтетические сцены с моделируемой акустикой. Вход ограничен 30 секундами и десятью источниками. Для открытых ответов используется модель-судья; на небольшом ASABench дополнительно обнаружен перекос правильных вариантов ответа. Обучение потребовало восемь B200 на четыре дня. Потоковая задержка, RTF и память прикладного устройства не приведены. Сравнение с монофоническими моделями не отделяет преимущество архитектуры от наличия пространственных каналов.

Фишка из статьи. Абляция рассуждения даёт небольшое изменение MASU, но большое падение ASABench. Авторы приводят две отдельные парные проверки; их полные варианты нельзя считать одной и той же контрольной точкой.

Как это читать: потеря на ASABench составляет 17,4 и 20,1 п.п., на MASU лишь 1,88 и 0,38 п.п. Это свидетельство зависимости пространственных ответов от вычислений при генерации, но не доказательство физически верного внутреннего решения. Для инженерного применения нужны отдельные проверки геометрии, содержания и стоимости рассуждения; один средний показатель скрывает эту разницу.

Источник. Оригинальное название: SciPhi-Chat: Training a Spatial Audio Agent for Question Answering, Dialogue, and Tool Use. arXiv:2611.04114; полный текст PDF.