arXiv 自然语言处理· Taro Yano, Yoichi Ishibashi, Masafumi Oyamada·· 4 小时前AI 评分43
尾部竞争解释可验证问题中 Best-of-N 采样的 Scaling 机制
Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems
AI 导读
研究者通过正确与错误回答在奖励上尾部的竞争视角，解释了不完备奖励模型下 Best-of-N 采样的行为。利用极值理论，该研究划分出正确尾部主导、错误尾部主导与临界三种渐近状态，推导出有限样本 scaling laws，并指出方差较大的错误回答可能在均值更低时仍主导选择。同时，研究提出了轻量级 tail-tension 指标，用于评估增加采样何时可能产生负面效果。
来源：arXiv 自然语言处理 · arxiv.org