arXiv 自然语言处理· Shivam Shukla, Jihye Kim, Shubham Gaur, Mahnaz Roshanaei, Magy Seif El-Nasr·· 4 小时前AI 评分41
RELATE：衡量大语言模型关系导向的评估框架
RELATE: An Evaluation Framework for measuring Relational Orientation of Large Language Models
AI 导读
研究人员提出 RELATE 框架，用于评估大语言模型在多轮对话中的关系导向，涵盖将 AI 设为持续支持源的内向语言（IF）与鼓励现实社交的外向语言（OS）。该研究通过 76 种场景和 3 种用户风格，评测了 7 个 LLM 的 1,596 场对话共 69,194 个句子。结果显示模型在第 6 轮的 IF 比例高于第 1 轮，且对犹豫间接型用户的 OS 比例大幅降低。
来源：arXiv 自然语言处理 · arxiv.org