arXiv 人工智能· Ilija Subasic, Andrew Rabinovich, Zhao Chen·· 1 day agoAI score34
分位数而非点：面向序数感知的 LLM-as-a-Judge 流式分位数匹配校准
Quantiles, Not Points: Streaming Quantile Matching for Ordinal-Aware LLM-as-a-Judge Calibration
Not yet translated; shown in Chinese.
AI guide
针对 LLM-as-a-Judge 评分与人类评价的分布偏移，研究者提出流式分位数匹配（SQM）方法，通过计算两者分布间的最优传输映射进行事后校准。实验表明，SQM 尊重人类锚定集的序数特性，在多项模型与数据测试中取得了最佳分布保真度并位列综合排名第一。该校准还缩小了小模型与大模型裁判间的原始误差差距。
Source:arXiv 人工智能 · arxiv.org