热点事件持续更新
研究团队推出真稀疏GPU计算层SNACK
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月,研究团队发布稀疏GPU计算层SNACK,旨在通过仅存储和计算非零连接来超越掩码稀疏、实现真正的稀疏神经网络。该方案提供PyTorch API,并搭载定制的SpMM CUDA核函数SNACK-COO。测试数据显示,在90%稀疏度下,单层SNACK的显存占用比全密集层减少72%,训练与推理速度分别提升3.7倍和2倍;在99%稀疏度下,SNACK将GPT-2训练峰值显存降低最多40%,推理延迟比掩码密集基线降低4.8倍。
AI 根据报道生成 · 2 小时前更新
最新进展10月6日 12:00
研究团队推出真稀疏GPU层SNACK,可显著降低显存占用并加速训练与推理。报道时间线
沿着报道,了解事件的不同侧面。
10月6日
- arXiv 机器学习超越掩码稀疏:SNACK 在 GPU 上实现真正的稀疏神经网络
研究团队推出仅存储和计算非零连接的稀疏 GPU 层 SNACK,提供 PyTorch API 并搭载定制 SpMM CUDA 核函数 SNACK-COO。在 90% 稀疏度下,单层 SNACK 显存占用比全密集层减少 72%,训练与推理分别加速 3.7x 和 2x。在 99% 稀疏度下,SNACK 还将 GPT-2 训练峰值显存降低最多 40%,推理延迟比掩码密集基线降低 4.8x。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。