arXiv 自然语言处理· Hongyu Li, Xinlong Huang, Zhan Yu, Jing Zhao, Zhe Zhao, Juntao Zhong, Xiong Kuang, Rui Yuan, ZhenXiang Yan, Huilin Xu, Haitao Yu, Lilin Wang, Rui Chen, Blaze Chen, Fengzong Lian, Renfen Hu·· 2 小时前AI 评分42
超越二元标签：基于提示词级细则的 LLM 安全诊断评估框架 DiagSafe
Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics
AI 导读
研究人员提出基于提示词级细则的 LLM 安全诊断评估框架 DiagSafe，从安全与有用性两个独立维度进行评估。该基准包含基于 84 个安全标签分类体系的中英双语子集 DiagBase 与 DiagAttack。实验显示，DiagSafe 与人类标注一致性达 95.34%，裁判间一致性 Cohen's κ 达 0.864，并发现主流大模型在中文和多轮对话场景下更易出现安全漏洞。
来源：arXiv 自然语言处理 · arxiv.org