跳到正文
原文
arXiv 人工智能· A. Bochkov·· 5 小时前AI 评分29

超越单体参数:大语言模型的重构记忆、可执行技能与残差装配

Beyond the Parameter Monolith: Reconstructive Memories, Executable Skills, and Residual Assembly for Language Models

AI 导读

研究提出受有限元方法启发的 FEM-ASM 架构,将大语言模型的上下文计算、持久存储与确定性可执行技能解耦,并通过残差算子协调各提案。实验中,版本化存储在约 17 亿浮点值预算下包含 52,809 个重构记忆元素,token 重构准确率约为 75%,且位置结果观察显著改善了可执行算术的神经渲染。该研究验证了分离存储、执行与神经协调的可行性,同时指出了端到端效率等局限。

来源:arXiv 人工智能 · arxiv.org