arXiv 人工智能· Sachin Dev Duggal, Pradyumna Swarnalatha Ramanna, Alexandros Vassiliades·· 6 小时前AI 评分40
Concept-Grounded Attention:图注入注意力、时间版本与认识状态受控评测
Concept-Grounded Attention: A Controlled Evaluation of Graph-Injected Attention, Temporal Versioning, and Epistemic Status
AI 导读
研究提出了将实体图、时间版本与认识状态融入 Transformer 计算的概念对齐注意力(CGA)与 CLM 框架。实验显示,显式时间表示在最高 122B 模型上使 LongMemEval 准确率提升 13 至 25 个百分点,认识状态协议使 72-122B 模型的无依据断言率降至 0-5%。受控消融同时发现,图注入自注意力并未改变生成答案,门控交叉注意力的大部分增益主要来自增加的模型容量。
来源:arXiv 人工智能 · arxiv.org