跳到正文
原文
arXiv 机器学习· Syed Ibrahim Omer, Ginny Y. Wong. Xiangyu Zhao·· 8 小时前AI 评分34

MaRK:面向状态空间模型动态算子条件化的马尔可夫自适应循环核框架

MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models

AI 导读

研究团队提出动态算子条件化框架 MaRK,将上下文向量直接映射为冻结状态空间模型(SSM)循环参数的有界调制,动态重塑记忆核。在冻结的 111M 参数 Hydra SSM 主干上,MaRK 仅需 6.3-11M 可训练辅助参数即可完成适配。实验显示 Chebyshev 变体表现最优,取得 2.55 的平均验证损失,优于 DCT(2.59)与 Hypernet(3.77)。

来源:arXiv 机器学习 · arxiv.org