TIMUSE: универсальное улучшение речи с восстановлением семантических токенов и текстовой инициализацией
TIMUSE разделяет восстановление испорченной речи на исправление содержания и реконструкцию звука. Предобученная текстовая диффузионная модель угадывает замаскированные семантические токены, а акустический генератор сохраняет голос, опираясь также на исходную запись. Интересен ограниченный эффект текстового приора: он помогает прежде всего при сильной утрате акустических свидетельств, а не равномерно улучшает все показатели.
Метод. Замороженный Whisper large-v3 с обучаемой смесью слоёв кодирует искажённую речь. Dream-v0-Instruct-7B через LoRA предсказывает чистые S3-токены: один словарь на 4096 элементов, 50 токенов в секунду. Используются случайные и непрерывные маски, на выводе два шага их заполнения. Затем восьмишаговый flow-matching-модуль восстанавливает мел-спектрограмму 24 кГц из токенов и исходной акустики, BigVGAN выдаёт волну. В усилении условия удаляются только токены, но сохраняется шумная запись, чтобы не оторвать обе ветви от наблюдения.
Результаты. На URGENT 2026 TIMUSE получает DNSMOS OVRL 3,225, NISQA 4,042, символьную точность CAcc 80,61% и сходство голоса 0,640. Это лучше дискретных сравнений по пяти из шести шкал, но непрерывный UniPASE сохраняет более высокие CAcc 86,85% и сходство 0,720. В одинаковом обучающем режиме TIMUSE превосходит переобученные AnyEnhance, UDSE и SenSE; относительно SenSE CAcc выше на 5,80 пункта. RTF 0,104 измерен на RTX 5090 для всей указанной схемы вывода.
Ограничения. Метод использует большую семимиллиардную основу, хотя обучаемый адаптер содержит около 162 млн параметров. Сравнение с моделью со случайными весами уравнивает обучаемый бюджет, но не полный размер и не предобучение. Обработка использует весь фрагмент до 10 с, это не потоковый алгоритм с задержкой 104 мс. Человеческого прослушивания нет; на AATC символьная точность опирается на машинную транскрипцию чистого эталона. Красивое восстановление не гарантирует отсутствия дорисованных слов при уничтоженном входном содержании.
Фишка из статьи. Таблица 3 отделяет семантические цели, маскированное моделирование и перенос текстовой модели при одном акустическом декодере. Именно первые два решения дают основную часть выигрыша.
| Восстановление токенов | OVRL | CAcc, % | Сходство голоса |
|---|---|---|---|
| Авторегрессия, семантика, без текстового предобучения | 3,194 | 72,84 | 0,611 |
| Маски, семантика, без предобучения | 3,228 | 78,83 | 0,642 |
| Маски, семантика, текстовая инициализация | 3,225 | 80,61 | 0,640 |
| Маски, акустические токены, текстовая инициализация | 3,186 | 71,28 | 0,497 |
Как это читать: текстовая инициализация добавляет 1,78 пункта CAcc почти без изменения оценки звучания и голоса. Поэтому её нельзя описывать как причину всего прироста. Отдельные опыты с контролируемой тяжестью показывают больший эффект при сильном шуме, ограничении полосы, клиппировании и квантовании; для ряда мягких искажений различие статистически неотличимо.
Источник. Оригинальное название: TIMUSE: Text-Initialized Masked Semantic Token Modeling for Universal Speech Enhancement. arXiv:2610.34814; полный текст PDF.