arXiv 自然语言处理· Lele Yang, Muxi Diao, Zhonghao Yan, Jiankang Chen, Bin Wen, Tingting Gao, Wentao Zhang, Kongming Liang, Zhanyu Ma, Weiran Xu·· 3 hours agoAI score33
LooM：面向因果编码器-解码器语言模型的循环不变内存架构
LooM: Loop-Invariant Memory for Causal Encoder-Decoder Language Models
Not yet translated; shown in Chinese.
AI guide
研究人员提出面向因果编码器-解码器语言模型的 LooM 架构，通过让循环层仅在首次访问时写入 KV 条目，消除 cache 随循环次数膨胀的问题。模型支持每个 token 在 3 至 21 次层执行间任意调节计算预算，无需 router 即可覆盖所有配置。在相同 cache 占用下，其语言建模、zero-shot 准确率及长上下文困惑度均优于单遍基线。
Source:arXiv 自然语言处理 · arxiv.org