arXiv 自然语言处理· Hao Wu·· 7 小时前AI 评分36
Delta N-gram：向大语言模型原生 N-gram 记忆进行仅前向持续写入
Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory
AI 导读
Delta N-gram 提出了一种向大语言模型原生 N-gram 记忆进行仅前向持续写入的方法，无需反向传播且不修改预训练表。它通过 4.1M 参数的写入器写入稀疏补丁，使 0.6B 原型模型在二次写入后保留 16/16 个事实，显著优于梯度写入的 2-4/16 个。在 Qwen3.8-Flash-Next 上经超 35,000 次写入仍保持稳定，清空补丁即可恢复原模型。
来源：arXiv 自然语言处理 · arxiv.org