arXiv 人工智能· Wenlong Wang, Fergal Reid·· 1 天前AI 评分36
残差流读取与循环状态记忆：Mamba 模型中的全局工作空间
Residual Streams Read, Recurrent States Remember: The Global Workspace in Mamba Models
AI 导读
研究将 Jacobian lenses 应用于 Mamba-1、Mamba-2 与 Mamba-3 的残差流和循环状态，发现联合读取在所有测试检查点的至少 5/6 类任务中提升了中间概念恢复率。在 Mamba-2 上，仅循环状态在全部 6 类任务中均优于残差透镜与 logit lenses。新提出的符号保护转向在 5 个模型中提高了目标 Top-5 成功率，证实循环状态是工作空间内容的互补载体。
来源：arXiv 人工智能 · arxiv.org