JIT-MPE: оценка нескольких основных частот к заданному сроку выдачи результата

В живом отображении нот ранняя приблизительная оценка иногда полезнее точной, но опоздавшей. JIT-MPE выдаёт набор звучащих высот каждые 20 мс, а затем уточняет тот же кадр при поступлении новых данных. Одна модель из 86425 параметров обслуживает несколько сроков ответа, позволяя измерить, что именно даёт ожидание ещё 20–160 мс.

Метод. Два асимметричных окна 85 и 341 мс заканчиваются на текущем времени и строят логарифмическое частотное представление. Гармонический свёрточный модуль собирает обертоны и субгармоники каждой из 88 нот; общий по нотам GRU связан с пятью головами для 0/20/40/80/160 мс дополнительного аудио. При сроке 50 мс выбирается голова с 40 мс просмотра вперёд, оставляя не менее 10 мс вычислительного резерва. Выбор головы и калибровка выполнены на отдельных обучающих поднаборах до проверки четырёх отложенных наборов.

Результаты. При сроке 50 мс F1 на AAM 82,6%, на реальном BSED 64,5%, на его синтетическом варианте 77,0%. На отложенных данных разница с собственной последней оценкой укладывается в −1,27…+0,60 п.п. На одном потоке i9-13900KF самый медленный измеренный кадр занимает не более 4,15 мс; стоимость 0,68 GMAC на секунду аудио. Сравнение с двунаправленной моделью близкого размера показывает, что короткий срок обычно недорог, но реальный оркестр остаётся трудным и при полном контексте.

Ограничения. Это покадровое определение высот, не полноценная партитура с инструментами и длительностями нот. У моделей сравнения другие обучающие данные, выходы и калибровка, поэтому превосходство не изолирует архитектуру. Разделение записей не гарантирует разделение музыкальных произведений. Множественные статистические сравнения не скорректированы. Сроки, кратные 20 мс, ограничивают только доступное аудио; аппаратные задержки интерфейса в них не включены. Сценарии с требованием реакции около 10 мс прямо исключены.

Фишка из статьи. Средняя F1 скрывает наиболее важное для живого интерфейса место — самое начало новой ноты. Рисунок 3 показывает полноту эталонных кадров в первых 20 мс после начала ноты на отложенном AAM.

Как это читать: хорошая общая F1 не означает надёжного обнаружения атаки. На AAM 79% дополнительных пропусков варианта 50 мс относительно последней головы находятся в первых 60 мс после начала. Практический вывод — показывать предварительный результат сразу и разрешать исправление недавней истории, а для аккомпанемента отдельно проверять запаздывание атак и устойчивость управления.

Источник. Оригинальное название: JIT-MPE: Just-in-Time Multi-Pitch Estimation under Output Deadlines. arXiv:2610.33113; полный текст PDF.