跳到正文
原文
arXiv 人工智能· Alexander Detkov, Dashiel Karish, Matthew Oleynikov, Matt Thomson·· 5 小时前AI 评分37

ImplicitHop:评估大语言模型跨上下文与记忆的知识整合能力

ImplicitHop: Evaluating knowledge integration across context and memory

AI 导读

新研究提出评测基准 ImplicitHop,用于在不使用思维链的情况下评估大语言模型跨上下文与预训练记忆的知识整合及演绎推理能力。测试涵盖形式图基准与真实知识图谱组合基准,结果显示准确率随组合长度增加而急剧下降,但上下文信息的推理表现显著优于模型权重中编码的信息。

来源:arXiv 人工智能 · arxiv.org