Lipi-Ghor: бенгальский речевой корпус из YouTube с расшифровками и разметкой дикторов
Lipi-Ghor собирает 885 часов бенгальского аудио из 17 тематических областей, соединяя субтитры с автоматическими границами реплик и локальными метками дикторов. Ценность корпуса в разнообразии разговорной речи и явном разборе дефектов разметки. Однако его нельзя считать ни 885 часами ручной транскрипции, ни готовым эталоном диаризации.
Метод. Авторы вручную отбирают каналы, проверяют наличие исходной бенгальской дорожки субтитров и исключают автоматический перевод. После устранения повторов остаются 998 видео с 596 каналов; коммерческий Precision-2 создаёт разметку дикторов, совмещаемую с текстом. Идентичности локальны для записи и не связываются между видео. Публикуются идентификаторы видео и производная разметка, но не исходное аудио. Отдельные 500 клипов исправлены 17 добровольцами примерно за 30 часов труда: это не заявленная длительность исправленного звука.
Результаты. Без адаптации Hishab TITU получает WER 30,51%, MMS 43,06%, Seamless M4T-v2 66,71%, Whisper large-v3 84,53%. После обучения примерно на 58 часах корпуса Faster Whisper Medium даёт 20,70%, Fast Conformer 24,67%. Основные сравнения используют субтитры как эталон, а таблица 5 отдельно измеряет расхождение субтитров с ручной правкой: 2,57% для аудиокниг и 28,57% для мультфильмов. Эти последние числа характеризуют шум эталона, не ошибки распознавателя.
Ограничения. Корпус несбалансирован: три области дают 58,6% длительности, региональные диалекты только 1,29 часа. Автоматическая диаризация чрезмерно дробит некоторых дикторов и ограничивает представление перекрытия двумя голосами. В тексте есть неоднозначность относительно ручных меток диктора в gold-наборе; авторы прямо не рекомендуют считать весь SSTT проверенным эталоном диаризации. Воспроизведение зависит от доступности YouTube и закрытого сервиса. CC-BY-4.0 относится к собственным материалам авторов, субтитры ограничены некоммерческим исследовательским использованием.
Фишка из статьи. Длинная исходная запись здесь не означает проверку распознавания длинного непрерывного разговора. Таблица 3 и раздел 7 показывают последствия сегментации, которые нужно учитывать при выборе обучающего примера.
| Свойство автоматической разметки | Число | Практическое следствие |
|---|---|---|
| Медианная длина сегмента | 1,54 с | Контекст часто обрезан до короткой реплики |
| Сегменты короче двух секунд | 62,6% | Тест длины уже зависит от предварительной сегментации |
| Метки диктора с суммарной речью меньше 10 с | 21,8% | Возможна фрагментация одной личности |
| Максимум одновременных голосов в выходе | 2 | Оценка перекрытия ограничена форматом |
Как это читать: такая разметка полезна как слабое обучение, но высокая оценка на нарезке не подтверждает устойчивость на исходном часовом видео. Для собственного теста нужно исправить границы, отдельно проверить личности и явно выбрать ручной либо субтитровый эталон. Автоматически найденное малое перекрытие не доказывает, что люди почти не говорят одновременно.
Источник. Оригинальное название: Lipi-Ghor: A Large-Scale, Diarized, Multi-Domain Bengali Speech Corpus and a Scalable Pipeline for Building It. arXiv:2610.36184; полный текст PDF.