跳到正文
原文
arXiv 自然语言处理· Shashi Kumar, Yanis Labrak, Sergio Burdisso, Esa\'u Villatoro-Tello, Petr Motlicek, Kadri Hacioglu, Andreas Stolcke·· 9 小时前AI 评分41

将伪标签作为奖励而非目标:面向半监督 ASR 的 GRPO

Pseudo-Labels as Rewards, Not Targets: Group-Relative Policy Optimization for Semi-Supervised ASR

AI 导读

针对半监督 ASR,研究提出将伪标签作为 GRPO 的奖励参考而非训练目标,有效降低了模型对标签噪声的敏感度。在银行领域使用 Whisper 伪标签时,GRPO 相比 SFT 取得 29.3% 至 56.2% 的相对 WER 改善,并在 4 种 Whisper 尺寸、4 种教师族、3 个领域和 4 种语言中均保持优势。此外,SFT 几乎 100% 逐字复现教师错误,而 GRPO 仅传递 27%。

来源:arXiv 自然语言处理 · arxiv.org