arXiv 自然语言处理· Bingqing Liu, Wei Liu, Jun Wang, Xiaobo Sun, Yuhua Li, Ruixuan Li·· 3 hours agoAI score37
利用几何感知正则化编辑大语言模型
Editing Large Language Models with Geometry-Aware Regularization
Not yet translated; shown in Chinese.
AI guide
研究人员提出大语言模型知识编辑框架 GEdit，基于 LR+D 因子模型捕捉 Transformer FFN 隐藏表示的低秩几何结构。该框架提供核心知识子空间定向保护，并按单次编辑难度动态调整正则化强度。在 GPT2-XL、GPT-J 和 LLaMA-3-8B 的实验显示，GEdit 在多达 10,000 次连续更新下，编辑成功率与知识保留均显著优于现有基线。
Source:arXiv 自然语言处理 · arxiv.org