arXiv 自然语言处理· Hao Lu, Weixing Zhu, Ruiyang Li·· 13 hours agoAI score35
评估契约与评估杠杆：结构化预测的切片差距读数可在模型不变时发生变动
Evaluation Contracts and Evaluation Leverage: Sliced-Gap Readings in Structured Prediction Can Move Without Model Change
Not yet translated; shown in Chinese.
AI guide
研究表明结构化预测中的切片性能差距由模型与评估契约共同决定，在模型预测冻结的情况下，仅更换黄金标准版本就会引发排名反转（+0.0363）。团队提出以排名反转条件为核心的审计评估读数（AER）流程，并发布预注册工作流 EvalLever。在 LLM-as-judge 网格测试中，该审计集成将不稳定模型对从 13-15 对直接降至 0 对。
Source:arXiv 自然语言处理 · arxiv.org