arXiv 自然语言处理· Yiqi Liu, Joseph James, Yang Wang, Kun Zhao, Chenghao Xiao, Chenghua Lin·· 5 小时前AI 评分35
JudgeMoE：面向 LLM-as-a-Judge 的评分分布聚合方法
JudgeMoE: Distributional Aggregation for LLM-as-a-Judge
AI 导读
研究人员提出轻量级聚合器 JudgeMoE，通过为各裁判大模型的评分分布分配样本特定权重并进行融合，解决 LLM-as-a-Judge 标量压缩导致的不确定性丢失问题。在 10-cell 基准上，JudgeMoE 相比均匀对数池化将平均 Spearman 系数提升了 +0.079；在 16 个 cell 评测中相比最强本地单裁判平均提升 +0.0393（12/16 表现更优，p=0.0091）。
来源：arXiv 自然语言处理 · arxiv.org