arXiv 机器学习· Aleix Salvador-Pomarol, Arthur N. Montanari, Earl K. Miller, Adilson E. Motter, Jorge Cort\'es·· 4 小时前AI 评分42
通过空间神经计算在循环架构中实现无限上下文窗口
Learning infinite context windows in recurrent architectures via spatial neural computing
AI 导读
研究人员提出一种基于空间神经计算的二阶循环模型，通过偏微分方程控制的空间演化场替代传统神经元通信，在保持固定参数量的前提下实现无限上下文窗口。该架构等效于具备无界感受野的结构化无限阶 RNN，并通过边缘稳定性条件消除了梯度消失与爆炸问题。实验表明，该模型在长程基准测试中以显著更少的参数量超越了其他循环模型。
来源：arXiv 机器学习 · arxiv.org