arXiv 人工智能· Shiqi Zhang, Weixin Zeng, Ziheng Zhang, Jiuyang Tang, Xiang Zhao·· 12 小时前AI 评分38
多模态基准真的有用吗？基于结构-响应协同校准的题目级基准诊断
Are Multimodal Benchmarks Really Useful? Item-Level Multimodal Benchmark Diagnosis via Structure-Response Co-Calibration
AI 导读
针对多模态基准常存在单模态捷径、难以反映真实跨模态推理能力的问题，研究人员提出了题目级诊断框架 SRCoD。该框架结合题目内容的信息结构与模态条件下的模型响应进行协同校准，可量化单个题目对不同模态的依赖强度并提供可解释归因。实验表明其表现优于现有诊断方法，论文已被 NeurIPS 2026 接收。
来源：arXiv 人工智能 · arxiv.org