arXiv 机器学习· Qijia He, Yu Huang, Yuan Cheng, Yuxin Chen, Yingbin Liang·· 5 小时前AI 评分40
LLM 推理中 Beam Search 的可证明测试时扩展
Provable Test-Time Scaling for Beam Search in LLM Reasoning
AI 导读
研究针对 LLM 推理提出置信度过滤束搜索(CF-Beam),为基于 Beam Search 的测试时计算扩展提供理论保证。CF-Beam 将经典 Beam Search 的样本覆盖依赖从二次降至近线性,且误差随序列长度 $L$ 仅呈多项式级扩展,显著优于呈指数级增长的 Best-of-N。数值实验证实,该方法在长推理周期和高难度任务下更具鲁棒性。
来源:arXiv 机器学习 · arxiv.org