arXiv 自然语言处理· Changjiang Han, Bowei He, Ye Yuan, Weixu Zhang, Haolun Wu, Xue Liu, Jikun Kang·· 18 小时前AI 评分45
ResMem：将检索知识转化为参数化记忆
From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory
AI 导读
研究团队提出 ResMem，通过让 LLM 离线阅读检索文本并学习加性 logit 残差，将检索知识蒸馏为参数化记忆，避免了在线检索成本与海量表征存储。在维基百科子集上，该方法将存储保留需求降低 94.7%，并在 5 个问答数据集上将平均 token F1 从 32.83% 提升至 34.48%。其破坏原有正确答案的情况比 kNN 方案减少 21%，代码与模型权重已开源。
来源：arXiv 自然语言处理 · arxiv.org