arXiv 机器学习· Kazuki Nakayashiki·· 1 天前AI 评分53
Lessons from Luck:大模型总结的经验是否会将随机误差带入智能体后续决策?
Lessons from Luck: Do LLM-Written Lessons Carry Chance into an Agent's Next Decision?
AI 导读
一项涵盖 11 个大模型终端与 90,084 次测试的预注册研究表明,大模型自我改进智能体总结运行经验时会将偶发噪声带入后续决策。在更优工具遭遇偶然失败后,读取该失败教训的模型在下次任务中改选劣质工具的概率从 0.4% 激增至 11.6%。尽管在提示词中加入决策质量说明或无变更选项能将劣质工具选用率降至 7.5% 和 3.1%,但仍无法在所有模型端完全消除这种误导效应。
来源:arXiv 机器学习 · arxiv.org