跳到正文
原文
arXiv 自然语言处理· Minsu Oh, Seunghui Jwa, Chanjun Park, Yeo-Chan Yoon·· 4 小时前AI 评分38

评估压缩记忆机制:依赖性、效用与内容增益分析

Evaluating Compressed Memory: Dependence, Utility, and Content Benefit

AI 导读

一项针对九种系统的评估研究表明,语言模型虽然依赖压缩记忆向量,但其实际表现可能不如完全不使用记忆训练的替代模型。在 TriviaQA 测试中,为 xRAG 提供无关文档的记忆也能将 F1 分数从无文档的 19.38 提升至 24.78,而使用正确检索文档的 F1 得分为 29.88。研究指出单纯优于无文档基准不足以证明增益来自针对性内容,记忆评估必须明确对比基线与生成评分条件。

来源:arXiv 自然语言处理 · arxiv.org