arXiv 机器学习· Amelia Kawasaki, Stefan Lee·· 3 小时前AI 评分38
基于注意力的间接提示词注入分类检测
Attention-based Classification for Indirect Prompt Injection
AI 导读
针对间接提示词注入检测方法 Attention Tracker 的评估显示,长工具输出会破坏其注意力假设,导致其在 AgentDojo 基准上的检测准确率接近随机。研究提出的扩展方法 AttnDA 改用基于单头注意力特征的 Fisher 线性判别分析分类器,在横跨 4 个基准的测试中改善了智能体场景的检测性能,但跨域迁移仍具挑战。
来源:arXiv 机器学习 · arxiv.org