跳到正文
原文
arXiv 自然语言处理· Xinyi Liu, Hooshang Nayyeri, Emine Yilmaz, Dilek Hakkani-Tur, Charith Peris, Hari Thadakamalla·· 7 小时前AI 评分35

PersEvalBench:LLM 评估器能否判断画像信息的语境合理使用?

PersEvalBench: Can LLM Evaluators Judge Contextually Appropriate Use of Persona Information?

AI 导读

研究人员推出 PersEvalBench 基准,包含 403 个多剧集场景和 3 大类共 9 种受控错误子类型,用于测试评估器能否识别用户历史信息的合理与不合理使用。

来源:arXiv 自然语言处理 · arxiv.org