arXiv 机器学习· Tianxiang Xia, Kai Lion, Niao He, Michael Muehlebach, Melanie Zeilinger, Hao Ma·· 5 小时前AI 评分38
大模型结构化稀疏学习：连接模型可压缩性与高效推理
Learning Structured Sparsity for Large Models: Bridging Model Compressibility and Efficient Inference
AI 导读
研究提出统一框架 S-SALAAD，在训练中联合学习模型权重及其低秩与结构化稀疏组件，结合专用 CPU 和 GPU 内核以加速推理。该框架支持将单一检查点弹性压缩至多种内存预算，解决非结构化稀疏的索引开销难题。在 Llama2 与 Qwen3 的预训练及知识蒸馏实验中，S-SALAAD 在困惑度、内存占用和推理延迟上推进了帕累托前沿。
来源：arXiv 机器学习 · arxiv.org