Robust Multi-Tier Infant-Centered Audio Understanding with Whisper via Structured Speaker Conditioning

Работа переносит Whisper в необычную и сложную область: длительные домашние записи вокруг младенца, где одновременно могут вокализировать ребенок, мать, отец и братья или сестры. Главный ход - не пытаться разметить звук одним взаимоисключающим классом, а предсказывать четыре перекрывающихся уровня с явным условием на роль говорящего и семью.

Метод. Whisper-large-v2 дообучается через LoRA, затем оконные признаки поступают в легкий преобразователь, учитывающий целевого говорящего. Токен говорящего разложен на общий токен роли и обучаемое семейное смещение; для незнакомой семьи смещение обнуляется. Дополнительная последовательностная потеря сглаживает покадровые решения. Обучение и проверка разделены по семьям: 37 семей для обучения, 5 для настройки и 10 для теста.

Результаты. На 17 часах размеченного звука полная система получает Macro-F1 74,88% и каппу Коэна 68,14%, тогда как лучший вариант Wav2Vec дает 68,11% и 60,68% даже после удаления перекрывающихся участков. По ролям Macro-F1 равен 69,13% для ребенка, 71,60% для женщины-опекуна, 79,92% для мужчины-опекуна и 78,87% для брата или сестры. Удаление LoRA снижает средний Macro-F1 до 70,45%, семейного смещения - до 73,32%, сглаживания - до 72,66%.

Ограничения. Набор частный и малый: 17 часов, 52 семьи и заметный дисбаланс редких событий; в проверочной части, например, женского смеха всего 13 секунд. Модель работает 30-секундными отрезками, а вычислительная стоимость длительной домашней обработки не измерена. Семейное смещение требует знания семейной принадлежности при обучении, а перенос проверен только обнулением смещения на новых семьях.

Фишка из статьи. Авторы честно показывают почти нулевую пользу тестовой адаптации: пять дополнительных эпох дают лишь 0,06 пункта Macro-F1. Основной выигрыш приходит из устройства модели, а не из подстройки на тестовой семье.

Как это читать: наиболее важен LoRA-перенос самого Whisper, затем временная согласованность; семейный токен дает меньшую, но устойчивую прибавку. Тестовая адаптация практически не меняет результат и в этой постановке вряд ли оправдывает дополнительную стоимость.