arXiv 自然语言处理· Wenhui Chu·· 8 時間前AI スコア50
LLM Agent 自写交接摘要中的无依据策略：交接摘要何时会演变成虚构指令
When Do Summaries Become Instructions? Unsupported Policy in LLM Agents' Self-Written Handoff Summaries
未翻訳のため中国語で表示しています。
AI ガイド
研究发现长期运行的 LLM Agent 在压缩上下文并生成交接摘要时，会虚构历史记录中并不支持的权限限制或授权，进而误导后续 Agent 实例的行为。在测试的开源模型中，虚构限制占比为 1.2% 至 2.4%，虚构授权占比为 0.1% 至 1.3%；研究指出在系统提示词中明确说明规则来源，可将保留模板上的无依据限制率从 1.8% 降至 0.3%，且不影响合规的审批请求。
出典：arXiv 自然语言处理 · arxiv.org