arXiv 机器学习· Ao Kuniya, Jun Ohkubo·· 5 小时前AI 评分26
基于逆激活回归的神经元合并方法用于 Sigmoid 神经网络训练后压缩
Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks
AI 导读
研究提出一种用于 Sigmoid 神经网络训练后压缩的聚类神经元合并方法。该方法通过逆激活函数将神经元响应映射回激活前空间，并利用最小二乘法估计代表神经元的权重与偏置，同时涵盖数据辅助与基于随机输入的数据无关策略。实验表明，权重信息更适用于聚类，而激活信息有助于合并过程中的代表神经元重建。
来源：arXiv 机器学习 · arxiv.org