Информационная скорость фонем, слогов и слов при ограниченной языковой модели
Работа сравнивает фонемы, слоги, слова и объединённые единицы по числу бит, необходимых для кодирования фонетического содержания речи. Это полезный взгляд на выбор токенизации, но не оценка битрейта аудиокодека: тембр, высота тона и форма звуковой волны в этом потоке не передаются.
Метод. Из принудительного выравнивания LibriSpeech строятся обратимо связанные последовательности 39 фонем ARPAbet без ударений, слогов и фонетических реализаций слов. Вероятности задаются триграммами либо шестислойным Transformer с шириной 512 и контекстом 2048 токенов. Отрицательный логарифм вероятностей суммируется и делится на длительность аудио. Незнакомое слово нельзя закодировать бесплатно: стоимость его записи по фонемам учитывает резервная модель. Дополнительно проверяются BPE над словами и фонемами.
Результаты. На dev-clean, 5,4 часа и 40 говорящих, лучшая фонетическая скорость составляет 28,07 бит/с для словесного Transformer. Фонемный BPE с 2000 объединений даёт 28,98 ± 0,279 бит/с. Для триграмм оптимальны промежуточные единицы word-BPE-200. Отдельная орфографическая постановка даёт 27,48 бит/с, но её нельзя прямо отождествлять с обратимым кодированием фонетики. Более крупные Qwen2.5 дают 25,90 и 25,26 бит/с, уже при совершенно ином обучающем ресурсе.
Ограничения. Только английские аудиокниги, не универсальная скорость информации человеческой речи. У нейросетей фиксированы около 20 млн параметров основного корпуса слоёв, но не выходной словарь и не полное число параметров. Одинаковые 2048 токенов охватывают разное физическое время для фонем и слов. Поэтому сравнение отражает конкретный вычислительный бюджет, а не независимую от модели оптимальность слова.
Фишка из статьи. Таблица 1 на с. 3 показывает скрытую цену укрупнения единиц: последовательность становится короче, но словарь увеличивается на порядки. В словесной модели используются около 56 тыс. неединичных типов, а не все обнаруженные типы без исключения.
| Единица | Токенов в обучении | Всего типов | Типов чаще одного раза |
|---|---|---|---|
| Фонемы | 33 464 416 | 39 | 39 |
| Слоги | 13 025 947 | 13 656 | 11 386 |
| Слова | 9 403 427 | 84 163 | 56 255 |
Как это читать: Выигрыш от меньшего числа шагов не бесплатен: он переносит нагрузку в большую таблицу вероятностей и меняет длительность доступного контекста. Для проектирования речевых токенизаторов полезно одновременно сравнивать скорость токенов, словарь и полный бюджет модели, а не только размер Transformer без последнего слоя.
Источник. Оригинальное название: On the information rate of phones, syllables and words. arXiv:2611.13990; полный текст PDF.