arXiv 机器学习· Yifeng Li, Ziang Ni·· 6 小时前AI 评分39
测得还是真实？模型派生测量值何时可被校正或比较
Measured or Real? When Model-Derived Measurements Can Be Corrected or Compared
AI 导读
针对模型评测指标随种子和提示词波动的难题，研究提出了判定模型派生测量值何时可校正与比较的统计规则。新规则在 500 个模拟单元下将误差减半；实验发现提示词变化会在 ARC 上逆转 Qwen2-1.5B 和 Llama-3.2-3B 的领先优势，而平均设置解决了 16 次反转中的 15 次。此外，跨种子对齐嵌入坐标将每维可靠性从 0.003 提升至 0.813。
来源：arXiv 机器学习 · arxiv.org