arXiv 自然语言处理· Ian Arawjo·· 1 天前AI 评分56
研究提出 LLM 裁判统计校准框架并开源工具包 evalstats
How to Run Statistics over LLM Judges and Trust the Results: Calibrated Inference for Small-Sample AI Evaluation with evalstats
AI 导读
针对大语言模型裁判在小样本 AI 评测中容易导致假阳性膨胀的问题，研究提出了一套校准统计推断框架，并开源了 Python 工具包 evalstats。该研究基于预测增强推断（PPI）实现了 9 种假设检验方法（包含 Wilcoxon 符号秩检验与 Mann-Whitney U 检验的 PPI 校准），并引入自适应调整方法以提升小样本校准集下的稳定性。
来源：arXiv 自然语言处理 · arxiv.org