arXiv 机器学习· Changho Shin, Frederic Sala·· 13 小时前AI 评分44
VoirDire:用于可靠 LLM-as-a-Judge 聚合的反事实校准方法
VoirDire: Counterfactual Calibration for Reliable LLM-as-a-Judge Aggregation
AI 导读
研究团队提出 VoirDire,通过受控的反事实干预校准大语言模型评审委员会(LLM-judge panels)聚合,以削弱模型对冗长、格式等表面属性的共享偏见。在涵盖连续评分、二分类与成对偏好的 12 个数据集评测中,VoirDire 相比现有聚合基线将连续评分任务的 MAE 最多降低 26.8%,并在二分类与偏好任务上将准确率最高提升 5.3 个百分点。
来源:arXiv 机器学习 · arxiv.org