arXiv 机器学习· Pengfei Zheng·· 10 hours agoAI score34
StrictPRMBench：用于审计固定分数 PRM 聚合规则的可重放评估基准
StrictPRMBench: A Replayable Evaluation Benchmark for Auditing Fixed-Score PRM Aggregation
Not yet translated; shown in Chinese.
AI guide
评估基准 StrictPRMBench 旨在独立审计过程奖励模型（PRM）在 Best-of-N 推理选择中的分数聚合规则。在 7 个打分 checkpoint 和 2 个基准的 N=32 测试中，乘积聚合在全部 14 个单元格中的选择不稳定性均高于几何平均值，差值为 +0.0965。该研究提供版本化记录与 CPU 重分析，构建了可复现的选择器行为诊断评估协议。
Source:arXiv 机器学习 · arxiv.org