Перцептивное выравнивание и интерполяция частотно-временных представлений, согласованных по высоте тона

Работа рассматривает интерполяцию тональных звуков как задачу согласования гармонических структур, а не линейного смешивания спектрограмм. Частотные оси переставляются с учётом высоты тона, после чего между представлениями строится путь с помощью кругового оптимального транспорта.

Метод. Обратимый оператор на основе TIV-представления выравнивает частотные компоненты, сохраняя возможность синтеза. Для поиска соответствий проверяются сортировка, венгерский алгоритм и локальное улучшение 2-opt; круговая геометрия нужна, чтобы учитывать периодичность классов высоты.

Результаты. Для музыкальных пар векторная цена пути падает с 23,354 без выравнивания до 4,350 у argsort+2-opt. Для матричной цены венгерский алгоритм с 2-opt даёт 89,847 вместо 130,450. При переходе от до-мажора к до-минору круговой транспорт сохраняет гармоническое движение, тогда как обычная линейная интерполяция создаёт спектральное затухание.

Ограничения. Проверка ограничена синтетическими музыкальными примерами и хромаграммами; речевых опытов и оценки на последующей задаче нет. Оптимальный транспорт требует неотрицательных представлений, а вычислительная цена поиска соответствий не исследована для потоковой обработки.

Фишка из статьи. Разные критерии требуют разных алгоритмов выравнивания: простой порядок с 2-opt лучше для векторной стоимости, но венгерское сопоставление выигрывает для полной матрицы. Универсального «лучшего выравнивания» здесь нет.

Как это читать: снижение локальной векторной цены не означает лучшего согласования всей структуры. Для переноса идеи на речь потребуется сначала определить, какая стоимость действительно соответствует воспринимаемой непрерывности формант и гармоник.