AKDQ: адаптивное кодирование ключевых кадров и межкадровых разностей в речевых нейрокодеках

Соседние акустические признаки часто похожи, поэтому одинаковая глубина RVQ для каждого кадра тратит биты повторно. AKDQ чередует полный ключевой кадр и дешёвую поправку к предыдущему восстановленному признаку. Архитектура кодировщика и декодера сохраняется, но обучить систему работать с накопленной ошибкой всё равно необходимо.

Метод. Ключевой кадр использует четыре квантователя по 1024 элемента, разностный один. Решение принимает причинный «банк битов»: он накапливает сэкономленный бюджет, учитывает относительную ошибку предсказания и принудительно вставляет ключевой кадр после трёх разностных. При 50 кадрах в секунду отдельно учитывается однобитовый признак режима. Эксперименты используют некаузальный DAC и каузальный MDCTCodec-S; все варианты получают 400 тыс. обучающих шагов, AKDQ начинается с контрольной точки полного RVQ после 200 тыс. шагов.

Результаты. На LibriTTS 16 кГц DAC при фактических 1498,7 бит/с получает UTMOS 3,813 и MOS 4,220±0,210 против 3,833 и 4,330±0,285 у RVQ 2000 бит/с. Это близкое, но не тождественное качество при примерно четверти сэкономленных битов. При 1001,4 бит/с UTMOS повышается с 3,395 до 3,674, STOI с 0,893 до 0,905. Для MDCTCodec-S улучшение меньше, а VRVQ при 1,5 кбит/с сильнее по части показателей.

Ограничения. Только читаемая английская речь; субъективный опыт включает десять слушателей и десять реплик на условие с широкими интервалами. Ошибки или потери пакетов, восстановление после повреждения ключевого кадра и полный транспортный протокол не проверены. Причинный планировщик не делает некаузальный DAC потоковым. Обещание отсутствия дополнительного заглядывания вперёд не заменяет измерение полной задержки и вычислений. Битрейт адаптивен: целевое значение достигается в среднем, не означает постоянного числа битов в каждом кадре.

Фишка из статьи. Абляция таблицы II отделяет неизменность архитектуры от отсутствия необходимости дообучения. Все строки относятся к DAC около 1 кбит/с. «Прямое квантование» сохраняет планировщик, но вместо поправки кодирует полный текущий признак малым числом квантователей.

Как это читать: без адаптации кодовые книги не видели рекурсивно искажённых предыдущих признаков, поэтому ошибка распространяется по цепочке. Дополнительную пользу даёт именно разность, а не только переменное число кодовых книг. Это практическое предостережение для внедрения: «подключаемый» квантователь совместим со структурой кодека, но не является безобучаемой заменой его готового битового потока.

Источник. Оригинальное название: AKDQ: Adaptive Key-Delta Quantization for Low-Bitrate RVQ-based Neural Speech Codecs. arXiv:2610.39885; полный текст PDF.