JYVA на BeTraC: медицинские записи по аудио с отдельными запросами для разделов SOAP
Свободная генерация медицинской записи легко смешивает жалобы пациента, наблюдения и план действий. JYVA добавляет к Qwen2.5-Omni-3B небольшую систему запросов, каждый набор которых отвечает за свой раздел SOAP. Работа интересна не клиническим применением как таковым, а проверкой того, помогает ли структурированное извлечение удерживать текст возле фактов разговора.
Метод. Из основы удалены визуальный и речевой выходы. Сначала двухслойный Q-Former с 96 запросами учится при замороженном речевом кодировщике: по 32 запроса для Subjective, Objective и Assessment/Plan. Кроме всей записи предсказываются медицинские понятия и отдельные разделы. Затем Q-Former замораживается, первая LoRA отбрасывается, а новая LoRA языковой части учится получать одновременно 96 клинических токенов и полный исходный путь аудиопризнаков. Поэтому финальная модель не заменяет всё аудио компактным префиксом. Диаризации и масок ролей нет.
Результаты. В лёгком треке BeTraC система занимает четвёртое место: Concept F1 0,5005 на официальном SynthDoPaCo против примерно 0,245 у базовой системы; на суммарных наборах 0,486. На Realistic результат 0,425, но там лишь три диалога. Во внутреннем анализе валидации полный вариант повышает Concept F1 адаптированной основы с 0,47 до 0,51 и уменьшает долю диалогов с эвристически найденными аномалиями с 15,5% до 7,5%. На девяти записях с плохой речью F1 меняется 0,51→0,48 против 0,47→0,31 у адаптированной основы.
Ограничения. Эвристики проверяют лексическую поддержку утверждений и чисел в источнике и эталоне: допустимое перефразирование может ошибочно считаться выдумкой. Это не экспертиза врача и не доказательство клинической безопасности. Значительная часть данных синтетическая, реальных разговоров мало; нет независимой оценки на большом медицинском корпусе и подробной проверки переноса по языкам. Финальный эффект объединяет вспомогательные цели, два этапа обучения и префикс, их вклад не полностью разделён. Вывод с 16 лучами и полными аудиотокенами не сопровождается измерением задержки.
Фишка из статьи. Таблица II показывает, что правильный формат и фактическая надёжность могут двигаться в противоположные стороны. Hallu означает долю диалогов хотя бы с одной из выбранных аномалий, а не универсальную частоту клинических ошибок.
| Вариант | Concept F1 | Верная структура | Неподтверждённые числа | Hallu |
|---|---|---|---|---|
| Исходная система | 0,26 | 47% | 15,0% | 26,5% |
| Ограничения декодирования | 0,28 | 98,5% | 60,0% | 60,5% |
| Дополнительно дообученная основа | 0,47 | 100% | 15,5% | 15,5% |
| Полный JYVA | 0,51 | 99,8% | 7,5% | 7,5% |
Как это читать: запрет повторных пятиграмм и ограничение длины убрали повторы, но не научили извлекать факты. Внешне аккуратный SOAP стал даже опаснее по неподтверждённым числам. Для контроля речевой суммаризации нужны отдельные проверки структуры и содержания: отсутствие зацикливания само по себе ничего не говорит о достоверности давления, дозы или другого численного утверждения.
Источник. Оригинальное название: JYVA at BeTraC: Audio-Based Medical Note Generation with SOAP Section-Specific Queries. arXiv:2610.40695; полный текст PDF.