arXiv 自然语言处理· Zheyuan Deng, Taoran Li, Jingwen Zhang, Yuante Li, Dachuan Zhao, Fulei Zhang, Yunkai Zhang, Zhikun Xu, Yajie Liao, Haichao Zhang, Haodi Hu, Cong Wang, Chen Yang, Siyang Wu, Defu Cao, Xu Hu, Haoming Li, Haixin Wang, Robert George, Weizhi Zhang, Yuchu Wang, Zhejian Peng, Yueying Li, Wanting Jiang, Shushu Liang, Zhiyuan Yu, Yifan Wang, Jintao Huang, Yijun Wang, Yuexing Hao, Xiaomin Li·· 5 小时前AI 评分36
PersonaChatBench：基于多样化模拟用户评估对话助手
PersonaChatBench: Evaluating Chat Assistants with Diverse Simulated Users
AI 导读
评测框架 PersonaChatBench 通过为相同任务匹配具备不同需求与交互行为的模拟用户，评估对话助手在多样化人设下的服务表现。该框架在 6 个领域测试了 20 个语言模型，分别评估其原生任务结果、人设需求满足度与模拟器保真度。结果显示，较强的基础任务能力并不等同于能满足个体特定需求，模型在不同人设和领域间的适应性存在明显差异。
来源：arXiv 自然语言处理 · arxiv.org