arXiv 机器学习· Saurav K. Aryal·· 8 小时前AI 评分29
人工神经网络需要树突纳米管吗？持续学习中收缩重要性估计的两个机制
Do Artificial Neural Networks Need Dendritic Nanotubes? Two Reasons for Shrinking Importance Estimates in Continual Learning
AI 导读
研究表明基于树突纳米管机制的随机扩散本质上实现了参数重要性向层均值的线性收缩，并在 20 任务 Permuted MNIST 上将最终准确率提升 1.5 至 2.6 个百分点。实验发现收缩带来的收益源于两个不同机制：在 EWC 中主要是缓解有限样本带来的方差效应，在 MAS 中则体现为纠正测量本身的偏差。但在任务增量 Split CIFAR-100 上，收缩机制会因损失可塑性而导致性能下降。
来源：arXiv 机器学习 · arxiv.org