arXiv 自然语言处理· Nawar S. Alseelawi, Mustafa S. Aljumaily·· 13 hours agoAI score36
Qistas：用于大语言模型公平性评估的预注册可移植协议
Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models
Not yet translated; shown in Chinese.
AI guide
研究团队提出了用于评估大语言模型（LLM）社会与区域公平性的预注册可移植协议 Qistas，并率先在伊拉克落地。该协议通过配对反事实设计评估程序对称性与差异化拒绝，且在模型运行前预先锁定假设与分析方案。对 58 项种子库的实地审查显示，25 个模板组中有 24 个存在缺陷，暴露出评测标准泄露及破坏语言一致性等反事实基准通用问题。
Source:arXiv 自然语言处理 · arxiv.org