arXiv 人工智能· Dohyun Kim, Junyong Lhim, Kwanyong Park·· 7 hours agoAI score36
评估视觉语言模型多模态个性化推理的系统基准
A Systematic Benchmark for Evaluating Multimodal Personalized Reasoning of Vision-Language Models
Not yet translated; shown in Chinese.
AI guide
研究人员提出了 MPRBench 基准，专门用于评估多模态大语言模型（MLLMs）在复杂真实任务中的多模态个性化推理能力。该基准包含 12 个子任务，并支持代表性错误案例的可解释性分析。实验表明现有模型受困于个性化概念识别不准确及对无关个人信息敏感等问题，相关代码与数据已公开。
Source:arXiv 人工智能 · arxiv.org