arXiv 人工智能· Licheng Pan, Haocheng Yang, Haoxuan Li, Yuzhou Chen, Yichen Sun, Yuan Lu, Xiaoxi Li, Hao Wang, Zhixuan Chu, Kui Ren·· 3 小时前AI 评分33
评分量表判定缺乏不确定性：面向 LLM 评测的保形加权方法
Rubric Judgments Lack Uncertainty: Conformal Weighting for LLM Evaluation
AI 导读
研究人员提出无需训练的 URW 框架，通过保形校准量化 LLM 评分量表在各标准上的判定不确定性。该方法从固定改写模板池中提取软不确定性信号，并利用具有可证明覆盖保证的 split-conformal p 值转换为各标准的权重。实验表明，URW 能持续提高成对偏好准确率，并为下游 RL 对齐提供更强的训练信号。
来源：arXiv 人工智能 · arxiv.org