跳到正文
原文
arXiv 自然语言处理· Fardin Ahsan Sakib, Ziwei Zhu, Ozlem Uzuner·· 4 小时前AI 评分38

防御医疗多智能体系统免受提示词注入攻击:模型本身其实更清楚

The Model Knows Better: Defending Medical Multi-Agent Systems Against Prompt Injection

AI 导读

研究人员提出一种免训练防御方法,通过将患者体征与诊断等临床判断分离并逐一验证,保护医疗多智能体系统免受提示词注入攻击。测试显示单段注入攻击成功率最高可达 61%,而该防御方案在 MedQA 基准上将攻击成功率降至 4-7%,且在无攻击情况下保持原有准确率,并能有效抵御自适应攻击。

来源:arXiv 自然语言处理 · arxiv.org