arXiv 自然语言处理· Fardin Ahsan Sakib, Ziwei Zhu, Ozlem Uzuner·· 4 小时前AI 评分38
防御医疗多智能体系统免受提示词注入攻击:模型本身其实更清楚
The Model Knows Better: Defending Medical Multi-Agent Systems Against Prompt Injection
AI 导读
研究人员提出一种免训练防御方法,通过将患者体征与诊断等临床判断分离并逐一验证,保护医疗多智能体系统免受提示词注入攻击。测试显示单段注入攻击成功率最高可达 61%,而该防御方案在 MedQA 基准上将攻击成功率降至 4-7%,且在无攻击情况下保持原有准确率,并能有效抵御自适应攻击。
来源:arXiv 自然语言处理 · arxiv.org