arXiv 机器学习· Sima Hashemi, Daniel Durstewitz, Georgia Koppe·· 5 小时前AI 评分33
基于可回收单元门控的循环神经网络动力系统持续学习
Continual Learning of Dynamical Systems in Recurrent Neural Networks through Recyclable Unit Gating
AI 导读
针对循环神经网络在持续动力系统重构中的容量耗尽与遗忘问题，研究提出了可回收单元门控方法 CRUG。该方法利用基于 $L_0$ 惩罚的可微门控动态分配并回收未用神经元，通过有向连接实现无干扰的前向表征复用。实验表明，CRUG 实现了零遗忘和最优的重构与容量权衡，能可靠学习异构非线性和混沌系统序列，并成功扩展至序列认知任务。
来源：arXiv 机器学习 · arxiv.org