arXiv 自然语言处理· Keqi Deng, Ruchao Fan, Jinyu Li·· 8 小时前AI 评分41
LazyFlash：面向长上下文微调加速的前向稠密与反向稀疏注意力
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
AI 导读
长上下文微调加速方法 LazyFlash 采用前向稠密、反向稀疏注意力机制，在长文本与语音 LLM 上实现最高 1.7x 端到端训练加速与 5.7x 注意力反向加速。其前向传播保持完全稠密以直接兼容 vLLM 等推理系统，反向传播则在 FlashAttention 内核中跳过对参数更新贡献极小的 query 块，在保障下游性能的同时降低计算开销。
来源：arXiv 自然语言处理 · arxiv.org