PinyinBench: что языковые модели знают о китайском произношении и умеют ли этим пользоваться

Информацию о тоне китайского иероглифа можно извлечь из внутренних векторов, но это ещё не означает, что модель правильно сравнит два тона или подчинится вмешательству. PinyinBench сопоставляет поведенческие ответы, линейные пробы и направленное изменение активаций. Так работа разделяет наличие фонологических сведений и их фактическое использование.

Метод. Набор содержит 38183 минимальные пары для проверки омонимии, начальной и конечной частей слога, тона и контекстного чтения многозначных знаков. Материал построен по двум частотным диапазонам семи тысяч иероглифов с помощью pypinyin и Dragonmapper; контролируемые пары отличаются нужным признаком. Семнадцать текстовых и мультимодальных моделей оцениваются по ответам или вероятностям предложений. В Qwen 2.5 обучаются линейные пробы с контролем перемешанных меток, затем направления между фонологическими классами добавляются к представлению целевого знака. Измеряется изменение вероятностей следующего текстового токена, не акустический выход.

Результаты. DeepSeek-V4-Flash превышает 90% в остальных условиях проверки омонимии, но даёт 72,7%, когда пара различается только тоном. У текстовых базовых Qwen в этом условии около 51–56%, при случайном уровне 50%; Qwen 2.5 Omni 7B получает 59,0%. Несмотря на хорошо извлекаемые тоновые метки, среднее пиковое преимущество целевого класса при вмешательстве составляет лишь около 0,16 для тона против 0,52 для начальной части и 0,40 для конечной. Аудиопредобученная Omni улучшает извлекаемость признаков, но не управляемость ими в этом опыте.

Ограничения. Проверяется знание произношения по тексту, не распознавание звуков и не тональная точность синтеза. Частотность знаков, многозначность и устройство токенизатора могут влиять на результаты. Вмешательства подробно изучены лишь на двух родственных моделях. Пиковая величина выбрана по силе изменения представления и не является точностью свободной генерации. Разница Omni и Base одновременно включает отличия обучающих данных и настройки, поэтому её нельзя целиком причинно приписать аудио. Обнаруженная структура не доказывает конкретную лингвистическую теорию внутреннего устройства сети.

Фишка из статьи. Таблица 4 показывает, что слабое управление тоном сохраняется на разных глубинах, а не возникает только из неудачного выбора слоя. Ниже Qwen 2.5 7B Base, среднее пиковое преимущество целевого класса над исходным.

Как это читать: тон остаётся наименее изменяемым признаком даже там, где проба уверенно читает тоновую метку. Эти числа — разности вероятностных предпочтений, не проценты правильных чтений. Для речевого интерфейса из этого следует методологический вывод: качество извлечения признака из скрытого пространства нельзя использовать как замену проверке произношения или управлению им на реальном звуке.

Источник. Оригинальное название: Phonological Knowledge of Chinese Characters in Language Models. arXiv:2611.05803; полный текст PDF.