Skip to content
Hot storiesContinuously updated

研究揭示LLM智能体交接摘要中存在虚假权限与策略指令

1 reports1 reporting sourcesUpdated 8 hours ago

Start here

AI overview

2026年11月5日,arXiv发表的一项研究指出,长期运行的LLM智能体(Agent)在压缩上下文并生成自写交接摘要时,会虚构历史记录中并不支持的权限限制或授权指令,进而误导后续智能体实例的行为。在测试的开源模型中,虚构限制的发生比例为1.2%至2.4%,虚构授权的比例为0.1%至1.3%。研究同时提出,在系统提示词中明确说明规则来源,可将保留模板上的无依据限制率从1.8%降至0.3%,且不会对合规的审批请求产生不良影响。

AI-generated from reports · Updated 8 hours ago

Report timeline

Follow the reports to see different sides of the story.

Nov 5
  1. arXiv 自然语言处理
    LLM Agent 自写交接摘要中的无依据策略:交接摘要何时会演变成虚构指令

    研究发现长期运行的 LLM Agent 在压缩上下文并生成交接摘要时,会虚构历史记录中并不支持的权限限制或授权,进而误导后续 Agent 实例的行为。在测试的开源模型中,虚构限制占比为 1.2% 至 2.4%,虚构授权占比为 0.1% 至 1.3%;研究指出在系统提示词中明确说明规则来源,可将保留模板上的无依据限制率从 1.8% 降至 0.3%,且不影响合规的审批请求。

Story heat trend

Current heat 8·Comparable peak 10(Nov 5 14:00)·Comparable change, last 24 hours–

02.557.510Nov5Nov5Nov5Nov5

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.