Apriel Voice 27B Preview: открытая модель для понимания речи, рассуждений и вызова инструментов
Apriel Voice добавляет прямой речевой вход к Gemma 4 26B-A4B, сохраняя текстовый и визуальный интерфейсы и способность вызывать инструменты. Вместо передачи транскрипции отдельной диалоговой модели используется общий языковой вычислитель. Это широкий технический отчёт о подготовке агента, но речь на выходе в основных интерактивных тестах всё ещё синтезирует внешняя система.
Метод. Замороженный Whisper large-v3-turbo выдаёт 1280-мерные признаки; восемь соседних кадров объединяются и проходят обучаемую проекцию на 47,7 млн параметров. Сначала обучается только этот интерфейс, затем проекция и языковая основа вместе, включая маршрутизацию экспертов. Обучение сочетает целевые ответы, прямую KL-дистилляцию от текстового учителя, сгенерированные речевые диалоги и повторение текстовых задач. На первом этапе два прохода по 32,2 тыс. часов, на втором три по 61,5 тыс. часов плюс текст: это крупномасштабная адаптация, а не лёгкая настройка одного адаптера.
Результаты. WER LibriSpeech clean/other равен 2,23%/5,15%, но для дальнего AMI-SDM достигает 40,29%. Средний BLEU перевода немецкой, французской и испанской речи на английский 42,87. В режиме рассуждения Big Bench Audio даёт 98,90, Speech-BFCL 81,13. На τ-Voice средний успех задач 65,51%, средняя задержка до доступного синтезированного ответа 1,91 с; это среднее по доменам, не квантиль потокового аудиотракта. В EVA точность 51,27%, совместное прохождение критериев опыта 74,13%.
Ограничения. Основной сценарий английский, многоязычность проверена ограниченно. Синтетическая речь и текстовый учитель способны передавать ошибки, а вклад отдельных целей не выделен причинными абляциями. Модели сравниваются с разными инструкциями и бюджетами рассуждения, без парной статистики превосходства. В интерактивной оценке используется внешний Cartesia Sonic 3.5; открытые веса понимающей модели не делают весь тракт открытым или нативно речевым. Замороженный визуальный кодировщик не гарантирует неизменности визуальных ответов после обновления общей языковой основы.
Фишка из статьи. Таблица 6 сравнивает общий языковой вычислитель с прямым аудиовходом и с отдельной транскрипцией. В обоих вариантах речевой выход внешний. Показатели EVA-X требуют совместного выполнения нескольких критериев и не являются просто приятностью тембра.
| Тракт | τ-Voice успех, % | Средняя задержка, с | EVA точность / опыт, % |
|---|---|---|---|
| Parakeet + Gemma 4 26B | 67,78 | 3,01 | 39,97 / 3,93 |
| Apriel Voice | 65,51 | 1,91 | 51,27 / 74,13 |
Как это читать: прямой вход быстрее и лучше по совокупному диалоговому опыту, но не выше по точечному успеху τ-Voice. Кроме того, высокая точность передачи ответа синтезом, 98,89%, сосуществует с верностью ответа контексту всего 43,49% в EVA. Хорошо озвученный ответ может быть неверным по содержанию. Поэтому оценивать речевого агента только по WER или скорости недостаточно, а эти две конфигурации нельзя объявлять строго упорядоченными по всем задачам.
Источник. Оригинальное название: Apriel Voice 27B Preview: An Open Model for Speech, Reasoning, and Tool Use. arXiv:2610.40738; полный текст PDF.