Речевые представления Токенизация Теория информации
arXiv cs.CL

Информационная скорость фонем, слогов и слов при ограниченной языковой модели

ArXiv:2611.13990

Работа сравнивает фонемы, слоги, слова и объединённые единицы по числу бит, необходимых для кодирования фонетического содержания речи. Это полезный взгляд на выбор токенизации, но не оценка битрейта аудиокодека: тембр, высота тона и форма звуковой волны в этом потоке не передаются.

Метод. Из принудительного выравнивания LibriSpeech строятся обратимо связанные последовательности 39 фонем ARPAbet без ударений, слогов и фонетических реализаций слов. Вероятности задаются триграммами либо шестислойным Transformer с шириной 512 и контекстом 2048 токенов. Отрицательный логарифм вероятностей суммируется и делится на длительность аудио. Незнакомое слово нельзя закодировать бесплатно: стоимость его записи по фонемам учитывает резервная модель. Дополнительно проверяются BPE над словами и фонемами.

Результаты. На dev-clean, 5,4 часа и 40 говорящих, лучшая фонетическая скорость составляет 28,07 бит/с для словесного Transformer. Фонемный BPE с 2000 объединений даёт 28,98 ± 0,279 бит/с. Для триграмм оптимальны промежуточные единицы word-BPE-200. Отдельная орфографическая постановка даёт 27,48 бит/с, но её нельзя прямо отождествлять с обратимым кодированием фонетики. Более крупные Qwen2.5 дают 25,90 и 25,26 бит/с, уже при совершенно ином обучающем ресурсе.

Ограничения. Только английские аудиокниги, не универсальная скорость информации человеческой речи. У нейросетей фиксированы около 20 млн параметров основного корпуса слоёв, но не выходной словарь и не полное число параметров. Одинаковые 2048 токенов охватывают разное физическое время для фонем и слов. Поэтому сравнение отражает конкретный вычислительный бюджет, а не независимую от модели оптимальность слова.

Фишка из статьи. Таблица 1 на с. 3 показывает скрытую цену укрупнения единиц: последовательность становится короче, но словарь увеличивается на порядки. В словесной модели используются около 56 тыс. неединичных типов, а не все обнаруженные типы без исключения.

ЕдиницаТокенов в обученииВсего типовТипов чаще одного раза
Фонемы33 464 4163939
Слоги13 025 94713 65611 386
Слова9 403 42784 16356 255

Как это читать: Выигрыш от меньшего числа шагов не бесплатен: он переносит нагрузку в большую таблицу вероятностей и меняет длительность доступного контекста. Для проектирования речевых токенизаторов полезно одновременно сравнивать скорость токенов, словарь и полный бюджет модели, а не только размер Transformer без последнего слоя.

Источник. Оригинальное название: On the information rate of phones, syllables and words. arXiv:2611.13990; полный текст PDF.

Оригинальная статья на arXiv