arXiv 机器学习· Kshitij Mishra, Salem Lahlou, Nils Lukas·· 5 小时前AI 评分39
TRACER:抵御间接提示注入的通道感知对抗训练方法
TRACER: Trace-Regularized Training Against Indirect Prompt Injection
AI 导读
研究人员提出通道感知对抗训练方法 TRACER,用于防御大语言模型面临的间接提示注入攻击。在 GSM8K 测试中,TRACER 将 Qwen2.5-3B-Instruct 在 RAG 场景下的 ASR 从 65.5% 降至 6.1%,并保持 78-82% 的原始准确率。其联合 RAG 与工具训练在 3B 规模实现 13.9% 平均 ASR,在 7B 模型上单 epoch 可达 9.4%。
来源:arXiv 机器学习 · arxiv.org