arXiv 自然语言处理· Nusrat Jahan Lia, Shubhashis Roy Dipta·· 1 天前精选AI 评分65
研究提出 BACKDROP 基准评估动态环境对 AI 智能体性能的损耗
The Backdrop Exposes What the World Around an Agent Costs It
AI 导读
研究提出评估基准 BACKDROP，用于测试动态环境中权限越权、文本注入、越界调用和写入故障四类日常干扰对 AI 智能体能力的影响。在 16 个模型和 3,678 个任务变体测试中，四种干扰叠加使智能体平均通过率从 69.5% 跌至 31.3%，最强模型性能降幅尤为显著。测试显示智能体虽学会了防御注入文本，但在面对他人未授权消息时遵从率依然高达 46.4%。
推荐理由
研究系统量化了动态现实环境对智能体能力的损耗，揭示出模型虽能抵御注入文本却极易盲从他人越权指令的薄弱环节。
来源：arXiv 自然语言处理 · arxiv.org