arXiv 自然语言处理· Zhichen Zeng, Xichong Zhang, Junpan Wu, Yifei Zuo, Chi-Chih Chang, Jiayi Wang, Maohua Nie, Ji Liu, Ang Li, Banghua Zhu·· 16 小时前AI 评分37
Step-dLLM：面向扩散大语言模型高效推理的自适应步感知稀疏注意力
Step-dLLM: Adaptive Step-aware Sparse Attention for Efficient Diffusion LLM Inference
AI 导读
Step-dLLM 引入自适应步感知块稀疏注意力机制，通过在去噪轨迹中周期性刷新掩码与头自适应分配预算，加速扩散大语言模型推理。该方案无需重新训练即可直接应用于 LLaDA-1.5 和 Dream-7B-Instruct，底层配备融合 IO 感知的 Triton kernel。
来源：arXiv 自然语言处理 · arxiv.org