Фазовые признаки атак для распознавания фортепианных нот в ансамбле
Transkun-Phase помогает находить тихие фортепианные атаки рядом с громкими протяжёнными звуками других инструментов. В амплитудном спектре такие события перекрываются; разность фаз соседних кадров добавляет другой признак начала ноты. Это фазочувствительное распознавание аудио, а не восстановление волновой формы и не доказательство улучшения речи.
Метод. На основе Transkun с полу-марковским структурированным декодером строится показатель заметности атаки: модуль циклической межкадровой разности фаз умножается на степенную амплитуду STFT. Он усиливает начало в карте оценок интервалов. Проверяются трио из MAESTRO v2 и новый PCD-K: пианисты исполняют партии на Disklavier с одновременной записью MIDI, что точнее обычного последующего выравнивания звука и нот.
Результаты. На трио при одинаковом дополнительном обучающем наборе F1 начала ноты повышается с 93,61 до 94,69%, с учётом конца — с 82,24 до 83,93%, с учётом ещё и velocity — с 80,84 до 82,78%. На PCD-K F1 начала растёт с 87,93 до 90,46%. Однако модель с другой звуковой аугментацией остаётся сильнее по части показателей педали на PCD-K: фазовый признак не заменяет подходящие обучающие условия.
Ограничения. Наборы ограничены классическим ансамблевым репертуаром; точность зависит от допуска 50 мс для атаки и правил конца с педалью. MIDI velocity не равна воспринимаемой громкости и чувствительна к инструменту. Один из внешних распознавателей исключён из сравнения трио из-за обучающего пересечения — поэтому не все строки доступны на каждом тесте. Авторы не проверяют перенос такого признака на согласные речи или универсальное выделение переходных процессов.
Фишка из статьи. Таблица 5 сравнивает амплитуду и разные порядки разности фаз на PCD-K. Это отдельная абляция, не те же численные строки, что основное сравнение систем.
| Вход атаки | F1 начала, % | F1 начала+конца+velocity, % | F1 начала педали, % |
|---|---|---|---|
| Амплитуда × первая разность фазы | 90,33 | 57,41 | 63,31 |
| Амплитуда × вторая разность фазы | 89,66 | 57,27 | 63,10 |
| Только амплитуда | 88,04 | 57,85 | 58,95 |
Как это читать: фаза лучше локализует начало, но не выигрывает по каждому усложнённому критерию: амплитудная версия немного сильнее с velocity. Поэтому её вклад следует формулировать как улучшение обнаружения атак в мешающем ансамбле, а не универсальное превосходство фазового представления по всей музыкальной разметке.
Источник. Оригинальное название: Phase-Based Onset Enhancement for Piano Transcription in Ensemble Settings. arXiv:2610.29222; полный текст PDF.