arXiv 自然语言处理· Zhaolu Kang, Yidi Wang, Yile Li, Siqi Zeng, Yingjie He, Richeng Xuan, Zhichao hu·· 8 小时前AI 评分43
TRIAD：多模态大语言模型全模态歧义消解评测基准
TRIAD: Benchmarking Omni-Modal Ambiguity in Multimodal Large Language Models
AI 导读
研究人员推出全模态歧义消解评测基准 TRIAD，涵盖跨文本、图像与音频 3 种模态的 18 个歧义类别，包含 86 个场景组共 327 个手写查询。评测 14 个全模态系统发现，最佳模型在组准确率上仍落后人类超过 20 分，且去除选项后模型组准确率跌至个位数。实验还表明，当前系统在文本和图像同时存在时往往无法充分利用音频线索。
来源：arXiv 自然语言处理 · arxiv.org