跳到正文
原文
Hacker News · AI· gcolella·· 3 小时前精选AI 评分74

实测显示三款大模型裁判无法区分智能体的真实记忆与伪造记忆

Three LLM judges couldn't tell an AI agent's real memory from a counterfeit one

AI 导读

一项针对智能体记忆评估机制的实验发现,gpt-4.1、claude-opus-4-7 与 gemini-2.5-pro 三款大模型裁判在既有评分标准下,均无法区分智能体的真实历史记忆与完全虚构的伪造记忆。研究指出常见测试往往只测量了文本合理性而非真实召回,在空上下文下多款模型仍能凭推理取得 62% 至 79% 的通过率,作者为此公开了包含伪造对照与对称选项在内的三项校验代码。

推荐理由

该测试指出了当前智能体记忆评估指标的系统性漏洞,并提供了可直接复用的对照校验方法。

来源:Hacker News · AI · kairos-experiment.com