arXiv 自然语言处理· Jianguo Huang, Zhiyi Lyu, Fuxiang Zhang, Yanchen Deng, Deheng Ye, Bo An·· 4 小时前AI 评分42
面向高效 LLM 树搜索的不确定性感知预算分配方法
Uncertainty-Aware Budget Allocation for Efficient LLM Tree Search
AI 导读
研究者提出免训练框架 Uncertainty-Aware Allocation（UAA），通过兄弟动作的语义分散度预估不确定性，动态分配大语言模型（LLM）树搜索的扩展预算。UAA 实现了不确定性感知剪枝与预算控制，无需额外模型开销。在数学推理、逻辑推理与规划基准测试中，UAA 在保持相当精度的同时，将 token 消耗降低最高 90%，延迟降低最高 9x。
来源：arXiv 自然语言处理 · arxiv.org