新研究提出推理历史压缩方法以降低智能体推理成本

1. 13:00
   arXiv 自然语言处理

   为何要为长推理买单？推理历史压缩对后续生成与智能体成本的因果影响

   一项研究提出在无需重新训练的情况下将开源模型此前的推理历史重写为紧凑状态记录，发现接受压缩历史通常可缩短后续推理。编程案例测试显示该方法减少了生成候选解后的重复验证，在软件智能体部署中能降低总体花费，但任务质量与包含重写的时间仍取决于目标模型和压缩器。

Current heat 8·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.