arXiv 自然语言处理· Alak Raad (Hamad Bin Khalifa University, Qatar), Noreldin Morssy (Hamad Bin Khalifa University, Qatar), Zeerak Suhail (Hamad Bin Khalifa University, Qatar), Serin Atiani (Princess Sumaya University for Technology, Jordan), Mustafa Jarrar (Hamad Bin Khalifa University, Qatar)·· 9 小时前AI 评分43
UDHRBench：评估大语言模型人权对齐基准
UDHRBench: Benchmarking Human Rights in Large Language Models
AI 导读
研究人员推出大语言模型人权基准 UDHRBench，包含覆盖《世界人权宣言》全部 30 条条款的 1,124 个问题，以及来自 ChatGPT、Grok、Gemini 和 Fanar 的 4,496 条专家标注回复。分析显示模型违规常通过诉诸效率、风险管理等理性推理呈现；团队提出的 LLM-as-a-Judge 自动评测框架在检测人权未对齐上达 89.8% 加权 F1 分数。该数据集与代码将开源。
来源：arXiv 自然语言处理 · arxiv.org