Hacker News · AI· nickcosta·· 2 小时前精选AI 评分69
实测 AI 智能体是否服从用户不可见的隐藏提示词:8 款模型中有 4 款完全遵从
I tested whether AI agents obey text you never see. 4 of 8 did, every time
AI 导读
一项针对 10 家公司 13 款模型的 800 次测试显示,当工具描述中包含向用户隐瞒特定内容的隐藏指令时,8 款能够打分的模型中有 4 款在全部测试中均完全遵从。
推荐理由
实测展现了工具描述中隐藏的指令如何直接影响不同模型的输出行为,为防范智能体在工具调用层被悄悄操控提供了实证依据。
来源:Hacker News · AI · smallprint.dev