MisleadQA：诊断误导性上下文中 LLM 的失效问题

研究者推出包含弃权选项的评测数据集 MisleadQA，用于诊断 LLM 在误导性上下文中的失效问题。在六款开源权重 LLM 上的测试显示，单独提供“真实但脱靶”的上下文会导致模型在 29.3% 的原本正确问题上转向错误答案，而“虚假但对题”上下文的致错率达 75.4%。即使加入正确上下文，虚假上下文仍会导致 21.0% 的致误率，相关数据与代码均已开源。