arXiv 机器学习· Debajoy Mukherjee, Jeremy Carleton, Sushil Vemuri, Srinivas Shakkottai, Dileep Kalathil·· 10 小时前AI 评分37
TreeHCA：面向多轮 LLM Agent 的后见引导探索与信用分配
TreeHCA: Hindsight-Guided Exploration and Credit Assignment for Multi-Turn LLM Agents
AI 导读
研究人员提出 TreeHCA 框架，将后见引导探索与后见信用分配相结合，以解决 GRPO 无法区分多轮轨迹中决策有效性的问题。该方法利用参考答案似然变化重新访问中间历史并构建推理与工具交互树，通过反向后见重要性校正及归一化树回溯生成轮次级优势。在 7 个问答基准和 3 种千问（Qwen）骨干模型上的测试显示，TreeHCA 在综合精确匹配指标上超越所有基线。
来源：arXiv 机器学习 · arxiv.org