arXiv 机器学习· Maxwell Spiridonov, Alireza Rahmansetayesh, Pierre Baldi·· 10 小时前AI 评分30
深度神经网络中的逐层输入可恢复性研究
Layer-wise Input Recoverability in Deep Neural Networks
AI 导读
研究人员通过基于重构的探测器，评估了卷积神经网络（CNN）中每层输出恢复其自身输入 patch 的能力，并以留出集上的 $R^2$ 衡量可恢复性。在 9 个 ImageNet CNN 上的实验表明，可恢复性总体随网络深度增加而下降，且各架构间由学习带来的可恢复性差异并不一致。通过单一属性随机对照实验发现，复制预训练奇异向量会提高可恢复性，而复制奇异值谱或激活稀疏性则会降低可恢复性。
来源：arXiv 机器学习 · arxiv.org