arXiv 机器学习· Peter Racioppo·· 5 小时前AI 评分23
动态核注意力机制（DKA）：基于历史记录估计当前状态
Dynamical Kernel Attention: Estimating the Present from a Record of the Past
AI 导读
研究者提出了动态核注意力机制（Dynamical Kernel Attention，DKA），通过在随机动力学演化下的隐状态鲁棒估计来推导注意力。DKA 能够在相关证据不足时主动放弃响应，并在丢弃历史 token 时保证误差有界。该机制完整保留了标准注意力的并行结构与计算成本，其实证评估将留在后续版本中展开。
来源：arXiv 机器学习 · arxiv.org