Hacker News · AI· gcolella·· 3 小时前精选AI 评分74
实测显示三款大模型裁判无法区分智能体的真实记忆与伪造记忆
Three LLM judges couldn't tell an AI agent's real memory from a counterfeit one
AI 导读
一项针对智能体记忆评估机制的实验发现,gpt-4.1、claude-opus-4-7 与 gemini-2.5-pro 三款大模型裁判在既有评分标准下,均无法区分智能体的真实历史记忆与完全虚构的伪造记忆。研究指出常见测试往往只测量了文本合理性而非真实召回,在空上下文下多款模型仍能凭推理取得 62% 至 79% 的通过率,作者为此公开了包含伪造对照与对称选项在内的三项校验代码。
推荐理由
该测试指出了当前智能体记忆评估指标的系统性漏洞,并提供了可直接复用的对照校验方法。
来源:Hacker News · AI · kairos-experiment.com