HeyGen Voice: клонирование голоса с адаптацией к сцене видео

HeyGen Voice разделяет узнаваемость диктора и акустический облик исходной записи. Телефонный образец должен задавать человека, но не обязательно заставлять его звучать по телефону в кадре собора или студии. Модель использует изображение и описания сцены для выбора новой подачи, а отдельно позволяет продолжить именно исходную акустику.

Метод. Авторегрессионный трансформер генерирует акустические коды, после чего непрерывный flow-matching-декодер восстанавливает волну. Замороженные кодировщики и обучаемое объединение передают изображение, описание голоса, фона и референс. Пять стадий включают базовый синтез, синтетическую и реальную смену сцен, GRPO и DPO-адаптер выразительности. Для длинного текста выбранный звуковой образец задаёт постоянное представление согласованности, а скользящий акустический контекст связывает соседние части. Одна и та же картинка допускает несколько реалистичных звучаний, поэтому одного повторения визуальных условий недостаточно.

Результаты. В тесте на 331 согласованной паре режим voice-clone даёт сходство с реальной записью целевой сцены 0,590 против 0,582 у Cartesia Sonic 3.6 и 0,556 у ElevenLabs v4. В слепом пользовательском выборе своего клона доли предпочтения HeyGen равны 62,2 и 54,1% относительно этих систем. Это разные протоколы: первые числа получены автоматическими представлениями, вторые пользовательскими голосованиями, а не общей MOS.

Ограничения. В межсценовом опыте конкурентам недоступны изображение и описания: проверяется преимущество всего интерфейса, не равная по информации архитектурная абляция. ImageBind и ECAPA зависят от содержания и фона и не являются чистыми измерителями акустического соответствия или личности. Нет отдельной количественной абляции якоря на длинных текстах в приведённом сравнении. Опубликованный RTF около 0,1 при одном запросе не равен задержке первого звука в разговоре.

Фишка из статьи. Таблица 5 показывает не «самый похожий клон», а конфликт двух разумных целей. Сравниваются два режима одной модели на тех же 331 случаях.

Как это читать: максимизация сходства с образцом поощряет перенос его микрофона и комнаты, даже если изображение требует другого звучания. Поэтому ухудшение одной метрики здесь может быть ожидаемым следствием правильной адаптации, а не ошибкой синтеза. Оба режима используют общий принцип акустического якоря, но выбирают его по-разному; сравнивать их без указания целевой сцены некорректно.

Источник. Оригинальное название: HeyGen Voice: Scene-Aware Voice Cloning for Talking Videos. arXiv:2610.30470; полный текст PDF.