研究团队提出高效上下文并行方法Split-KV并开源
Start here
2026年11月5日，研究团队在arXiv发布成果，提出面向扩散草稿模型训练的精确上下文并行（CP）方法Split-KV。该方法通过将key/value分片保留在本地，使每层注意力的通信量受限于query大小，并与上下文长度解耦。此外，该方案配合成本感知的LPT调度策略，将负载不平衡度降至1%以下。测试显示，在CP规模达到64时，该方法可保持85%至91%的弱扩展效率，相比最快基线最高实现3.67倍加速。目前相关代码已开源。
AI-generated from reports · Updated 8 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能Split-KV：面向扩散草稿模型训练的高效上下文并行方法
研究提出了面向扩散草稿模型训练的精确上下文并行（CP）方法 Split-KV，通过将 key/value 分片保留在本地，使每层注意力通信量受限于 query 大小且与上下文长度解耦。该方法配合成本感知的 LPT 调度策略将负载不平衡度降至 <1%，在 CP 规模为 64 时保持 85%–91% 的弱扩展效率，比最快基线实现最高 3.67x 加速，相关代码已开源。
Story heat trend
Current heat 8·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.