arXiv 自然语言处理· Anglin Cai, Zhiqi Wang, Xiaozhi Yang, Yurun Lin, Dongwon Lee, Yuchen Yang·· 5 小时前AI 评分50
研究发现看似合理的解释足以误导多模态大模型裁判
A Plausible Explanation Is Enough to Mislead Multimodal Judges
AI 导读
看似合理的普通文本解释足以误导多模态大模型（MLLM）裁判接受错误答案，使其对错误答案的拒绝率最高降低 13.8 个百分点。研究团队构建了基准 JUPE，在 14 款 MLLM 裁判上测试发现，普通解释与思维链（CoT）推理分别使错误答案拒绝率下降 12.7 和 13.8 个百分点，并将该现象称为“合理性俘获”。信号检测论分析表明裁判的决策准则整体偏向接受，且现有缓解手段保护效果有限。
来源：arXiv 自然语言处理 · arxiv.org