arXiv 人工智能· Geng Zhang, Fangzhao Zhang, Cong Xie, Tiantian Fan, Yang You·· 3 小时前AI 评分44
Split-KV：面向扩散草稿模型训练的高效上下文并行方法
Split-KV: Efficient Context Parallelism for Training Diffusion Drafters
AI 导读
研究提出了面向扩散草稿模型训练的精确上下文并行（CP）方法 Split-KV，通过将 key/value 分片保留在本地，使每层注意力通信量受限于 query 大小且与上下文长度解耦。该方法配合成本感知的 LPT 调度策略将负载不平衡度降至 <1%，在 CP 规模为 64 时保持 85%–91% 的弱扩展效率，比最快基线实现最高 3.67x 加速，相关代码已开源。
来源：arXiv 人工智能 · arxiv.org