arXiv 机器学习· Zeyu Fan, Alexandru-Dragos Manolache, Jan van Gemert·· 8 小时前AI 评分35
RNN 侏儒：学习对长期记忆进行门控
The RNN Homunculus: Learning to Gate Long-Term Memory
AI 导读
研究表明门控循环神经网络（RNN）的有价值门控参数本身需要学习，当所有训练样本都需要长程记忆时门控架构同样面临梯度消失问题。通过在训练中加入短依赖样本进行干预，门控模型能够学会捕获长依赖样本并跨类别泛化。在正确学习门控机制后，门控 RNN 的测试准确率能够匹敌甚至超越 Mamba 与 xLSTM 等现代架构。
来源：arXiv 机器学习 · arxiv.org