arXiv 自然语言处理· Tian Lan, Han Zhang, Shanshan Wang, Yahan Yu, Jiang Li, Yugo Murawaki·· 10 小时前AI 评分36
APRiL：针对大语言模型中文社交意识的开放式评测基准
APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models
AI 导读
研究人员推出了针对大语言模型中文社交意识的开放式评测基准 APRiL，包含 6 个类别的 2,196 个评估实例以及特定评分标准。该基准设立社交场景分析与社交感知回复两项互补任务，对 6 个模型家族的 12 个模型进行的实验揭示了模型普遍存在从理解到回复的差距。其相关数据和代码均已开源。
来源：arXiv 自然语言处理 · arxiv.org