arXiv 自然语言处理· Nawar S. Alseelawi, Mustafa S. Aljumaily·· 8 時間前AI スコア36
Qistas:用于大语言模型公平性评估的预注册可移植协议
Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models
未翻訳のため中国語で表示しています。
AI ガイド
研究团队提出了用于评估大语言模型(LLM)社会与区域公平性的预注册可移植协议 Qistas,并率先在伊拉克落地。该协议通过配对反事实设计评估程序对称性与差异化拒绝,且在模型运行前预先锁定假设与分析方案。对 58 项种子库的实地审查显示,25 个模板组中有 24 个存在缺陷,暴露出评测标准泄露及破坏语言一致性等反事实基准通用问题。
出典:arXiv 自然语言处理 · arxiv.org