GSLM2: многопоточные речевые представления для языкового моделирования без текста

GSLM2 не пытается уложить всю языковую информацию речи в одну последовательность единиц одного слоя кодировщика. Несколько потоков сохраняют разные уровни фонетических и языковых различий, а общая модель учит их временные зависимости. Работа показывает существенное улучшение обучения по одной речи, но не превращает речевую модель в полноценную текстовую по всем проверкам.

Метод. SpidR 2.0 обучается по схеме ученик–учитель с маскированием входа и дифференцируемыми головами дискретизации. Регуляризация энтропии препятствует как схлопыванию кодов, так и слишком размытым назначениям. GSLM2 использует шесть потоков из слоёв 5–10 с 256 кодами на слой. Кадр удаляется только если все потоки повторили предыдущие коды. Общий Transformer получает усреднённые векторы потоков, отдельные головы предсказывают переходы, а малый авторегрессионный декодер учитывает зависимости кодов внутри одного момента.

Результаты. При 1,2 млрд параметров и 60 тыс. часов GSLM2 получает 79,3% на различении слов sWuggy, 71,8% на грамматическом sBLIMP и 84,5% на тематическом выборе окончания tSC. Однопоточная SpidR 2.0 даёт 76,7%, 69,6% и 81,0%. Максимальная модель 6,5 млрд на 6 млн часов достигает 80,7%, 72,9% и 90,5%. Это точность попарного выбора с уровнем случайного ответа 50%, а не WER или оценка синтеза. Заявленное сокращение разрыва по эффективности данных относится к кривым выбранных тестов, не к стократному уменьшению стоимости обучения.

Ограничения. Многопоточность удлиняет последовательности и увеличивает вычисления; основной масштаб требует миллионов часов английского материала. Просодия и акустическая верность явно не сохраняются. Синтетические задания и оценки продолжений через распознавание и языкового судью смешивают ошибки токенизации, озвучивания и смысла. Основное попарное ранжирование использует головы переходов, а не совместное правдоподобие генеративной головы. Эти условия важны для воспроизведения результата.

Фишка из статьи. Таблица 2 позволяет проверить, где приближение к текстовой модели действительно произошло, а где остался большой разрыв. Ниже все модели имеют масштаб 60 тыс. часов / 1,2 млрд параметров; IS и AS — проверки изменения формы слова и согласования в LongTail-Swap.

Как это читать: на sBLIMP речевая модель уже рядом с текстовой, но на морфосинтаксических контрастах уступает на 15–16 пунктов. Следовательно, один успешный грамматический тест не устанавливает общее овладение грамматикой. Разные уровни представления помогают, но проверять их нужно на нескольких типах ошибок, а не только на средней тройке популярных показателей.

Источник. Оригинальное название: GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling. arXiv:2611.01143; полный текст PDF.