arXiv 自然语言处理· Yueying Li, Jingxuan Fan, Kiant\'e Brantley, Sham M. Kakade, Hanlin Zhang·· 10 小时前AI 评分41
无监督多模态奖励建模
Unsupervised Multimodal Reward Modeling
AI 导读
研究人员提出一种无需人工偏好标注的无监督多模态奖励建模方法，仅在冻结的 Qwen3-VL 中间层训练数千参数的线性分类头。该方案以约千分之一的微调算力在 32B 规模下于三个基准上追平或超越 GPT-4o，在 VL-RewardBench 上领先 6.6 分。基于验证器标注样本重训练后，还使描述幻觉降低 5.1 个 CHAIR 分数，并将图像生成通过率提升 5.4。
来源：arXiv 自然语言处理 · arxiv.org