arXiv 自然语言处理· Xinyi Liu, Hooshang Nayyeri, Emine Yilmaz, Dilek Hakkani-Tur, Charith Peris, Hari Thadakamalla·· 7 小时前AI 评分35
PersEvalBench:LLM 评估器能否判断画像信息的语境合理使用?
PersEvalBench: Can LLM Evaluators Judge Contextually Appropriate Use of Persona Information?
AI 导读
研究人员推出 PersEvalBench 基准,包含 403 个多剧集场景和 3 大类共 9 种受控错误子类型,用于测试评估器能否识别用户历史信息的合理与不合理使用。
来源:arXiv 自然语言处理 · arxiv.org