Псевдоразметка как награда, а не эталон: GRPO для полуконтролируемого распознавания речи
Неверную машинную транскрипцию можно использовать не как последовательность обязательных целевых токенов, а как неточный измеритель нескольких собственных гипотез распознавателя. Авторы показывают, что GRPO в таком режиме значительно меньше копирует ошибки учителя, чем обычное дообучение. Но фильтрация работает лишь там, где ученик уже способен предложить подходящий вариант, а не осваивает отсутствующую письменность с нуля.
Метод. Ученик соединяет замороженный Whisper-кодировщик с Llama-3.2-1B-Instruct, обучаемым проектором и LoRA. Для каждой записи выбираются четыре продолжения, наградой служит 1−WER относительно псевдоразметки. Центрирование наград вычитает общую ошибку, если все варианты одинаково расходятся с неверным словом учителя. Это ограничивает обучение ошибке, но не исправляет её автоматически: если неверное слово уже часто встречается среди гипотез, оно может подкрепляться. Проверяются банковские, медицинские и страховые разговоры, а также четыре языка Common Voice.
Результаты. На банковском тесте при псевдоразметке Whisper Large-v3 обычное SFT получает WER 17,21%, прямое GRPO 12,17%. При гораздо худшем Tiny показатели равны 32,11 и 14,06%. Увеличение ошибки разметки на 11,81 процентного пункта переносится в GRPO-ученика лишь на 1,89 пункта. В медицинском и страховом доменах GRPO также лучше на псевдоразметке, но на истинных текстах немного уступает обычному SFT: эффект связан с ошибочным надзором, не универсальным превосходством алгоритма.
Ограничения. Обучение использует разные скорости обновления и собственные выборки модели; одинаковое число эпох не означает равные вычисления. Результаты не устанавливают устойчивость к любому виду ошибок учителя. В новых письменностях прямое GRPO не применяется: англоязычные варианты не содержат правильного текста, поэтому нужен начальный этап SFT. Абсолютные CER малоресурсных языков остаются высокими. Уменьшение вставок сопровождается некоторым ростом удалений.
Фишка из статьи. Таблица 1 демонстрирует инверсию привычного порядка SFT→GRPO. Для Tiny-разметки предварительное SFT мешает, а для истинных текстов помогает.
| Надзор | Только SFT: WER, % | Прямое GRPO: WER, % | SFT→GRPO: WER, % |
|---|---|---|---|
| Псевдоразметка Tiny | 32,11 | 14,06 | 22,77 |
| Псевдоразметка Large-v3 | 17,21 | 12,17 | 16,31 |
| Истинные тексты | 10,27 | 10,78 | 9,49 |
Как это читать: в диагностике неверное слово учителя встречается лишь в 10–30% исходных продолжений, но более чем в 95% после SFT. Разброс награды после такого обучения падает примерно до 0,01 против 0,06–0,09 у прямого GRPO. Предварительное копирование разметки не просто даёт плохой старт: оно уничтожает разнообразие, которое позволяло относительной награде отсеивать её ошибки.
Источник. Оригинальное название: Pseudo-Labels as Rewards, Not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR. arXiv:2610.32572; полный текст PDF.