Qwen3-TTS за пределами стандартных тестов: условия клонирования голоса, области применения и сбои

Высокое качество клонирования на читаемой речи не говорит, что выбрать для шумного короткого образца: аудио с расшифровкой или только представление диктора. Авторы сравнивают два режима Qwen3-TTS и три альтернативных синтезатора на четырёх существенно разных областях. Основной вывод практический: качество опорной расшифровки и условия записи влияют на результат сильнее, чем единый рейтинг моделей.

Метод. Проверяются Qwen3-TTS-12Hz-1.7B-Base в режимах ICL и X-Vector, Chatterbox, XTTS-v2 и F5-TTS. Из LibriSpeech, AMI, IEMOCAP и ATCO2 берётся по часу английской речи. В основном условии голос задаёт соседняя реплика, а синтезируется другая, чтобы нельзя было просто копировать её просодию. Оценка сочетает 18 автоматических признаков, трёх слушателей, аудиоязыкового судью и AASIST. Отдельный опыт искажает одно слово опорной расшифровки при неизменном аудио. Повторы и лишнее содержание сначала отмечаются эвристикой длительности, затем её проверяют вручную на 200 примерах.

Результаты. На AMI слушатели принимают Qwen3-TTS за настоящий голос в 35,6% сравнений для X-Vector и 27,0% для ICL; альтернативы достигают не более 9%. ICL лучше переносит тембр из чистой записи: на LibriSpeech авторский показатель соответствия диктору равен 80,2 против 61,5, тогда как X-Vector лучше сохраняет временную организацию. В разложении составной объективной оценки корпус объясняет 63% вариации, система 15%. Эти числа относятся именно к выбранной оценке, не ко всему воспринимаемому качеству. На авиационном радио AASIST ошибочно отвергает 99% настоящих записей, поэтому высокая доля обнаруженных там подделок сама по себе бессодержательна.

Ограничения. Человеческая группа мала и не позволяет надёжно установить разницу между двумя режимами Qwen3-TTS. Эвристика длительности не проверяет слова непосредственно: при аудите её полнота 94,7%, F1 68,8%, а отмеченные доли завышают истинную частоту галлюцинаций. Составная оценка имеет выбранные авторами веса; некоторые признаки отбирались по очень малому числу агрегированных точек. Судья меняет решение при перестановке порядка до 43% пар. Выводы о защите относятся к конкретному ненастроенному AASIST, а не ко всем детекторам.

Фишка из статьи. Одно неверное слово в коротком опорном тексте может нарушить ICL непропорционально сильно. Ниже доля случаев, отмеченных проверенной эвристикой длительности, до и после замены слова статическим отвлекающим словом.

Как это читать: проблема не сводится к общей сложности эмоционального или авиационного домена. При трёхсловных опорных текстах доля отмеченных сбоев после такой замены достигает 65% и падает ниже 20% после восьми слов. Если отвлекающее слово действительно просачивается в синтез, в 96,6% случаев оно звучит в первой трети результата, хотя внесено в середину опорного текста. Это указывает на сбой обусловливания; для короткого или ненадёжно расшифрованного образца режим без текста стоит проверять отдельно.

Источник. Оригинальное название: Beyond the Benchmark: Conditioning, Domains and Failure Modes of Qwen3-TTS. arXiv:2610.23678; полный текст PDF.