arXiv 机器学习· Jafar Badour, Maurice van Keulen, Elena Mocanu·· 3 小时前AI 评分41
超越掩码稀疏：SNACK 在 GPU 上实现真正的稀疏神经网络
Beyond Masked Sparsity: SNACK Enables Truly Sparse Neural Networks on GPU
AI 导读
研究团队推出仅存储和计算非零连接的稀疏 GPU 层 SNACK，提供 PyTorch API 并搭载定制 SpMM CUDA 核函数 SNACK-COO。在 90% 稀疏度下，单层 SNACK 显存占用比全密集层减少 72%，训练与推理分别加速 3.7x 和 2x。在 99% 稀疏度下，SNACK 还将 GPT-2 训练峰值显存降低最多 40%，推理延迟比掩码密集基线降低 4.8x。
来源：arXiv 机器学习 · arxiv.org