arXiv 机器学习· Yannick Lunk, Atell Yehor Krasnopolsky, Damien Garreau, Leon Bungert·· 4 小时前AI 评分32
解释对抗训练神经网络显著图的稀疏性
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
AI 导读
一项新研究针对双层 ReLU 网络，从理论上解释了对抗训练神经网络梯度显著图呈现稀疏性的成因。研究证明在数据点与神经元数量增长时，极小值点会收敛至具备极小梯度与 Barron 范数的 Bayes 分类器，而 $\ell_\infty$ 攻击下的各向异性梯度范数促使了稀疏梯度的形成。团队通过评估梯度 $\ell_1$ 范数与阈值化稀疏度实验验证了该理论。
来源：arXiv 机器学习 · arxiv.org