跳到正文
原文
量子位· 鹭羽·· 12 小时前精选AI 评分70

MemT 1.0 开源发布:将记忆计算通路原生焊入 Transformer 架构

RSI三块关键拼图,MemT 1.0从模型层补上「记忆」

AI 导读

记忆张量团队开源发布 MemT 1.0 记忆原生模型系列,包含 36B 的 MemT-1.0-Nano 与 288B 的 MemT-1.0-Flash,在 Transformer 模块中增加了与注意力并行的记忆计算通路。

推荐理由

该研究将经验读写机制直接融入内部计算通路,在长历史场景下大幅降低显存占用与推理耗时,为大模型持续学习提供了结构层面的工程参考。

来源:量子位 · qbitai.com