arXiv 机器学习· Mohammad Haroon Khawaja, Muhammad Haseeb, Mohammad Fatim Shoaib, Muhammad Tahir·· 7 小时前AI 评分33
BaCP：在极稀疏神经网络中保留表征的骨干对比剪枝方法
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
AI 导读
骨干对比剪枝方法 BaCP 通过将稀疏网络的嵌入向量空间与预训练、微调及历史快照模型对齐，解决非结构化剪枝在极高稀疏度下出现的表征崩溃与准确率骤降问题。该方法基于 CAP 框架拓展，并在 90 种实验设置下完成了评估。实验显示，BaCP 在标准剪枝失效的极高稀疏度场景下大幅提升了准确率，同时在表征完整的常规场景中表现接近基线。
来源：arXiv 机器学习 · arxiv.org