arXiv 人工智能· Xinhang Zhang, Boning Zhang, Chengchun Liu, Chunpu Li, Lei Sun, Weifeng Zhang, Limin Xiao·· 9 小时前AI 评分42
CHARM+：基于重合并多流机制的跨硬件注意力方案
CHARM+: Cross-Hardware Attention with Re-Merge Multistream Mechanism
AI 导读
CHARM+ 提出了一种基于重合并多流机制的跨硬件注意力方案，通过分层重组通信并解耦跨硬件通信，消除了序列并行中的带宽失衡与同步开销。相比 Ring-Attention，其前向和反向算法在双 NUMA PCIe 架构下分别取得平均 1.3x 和 1.7x 的加速，在双节点 NVLink 架构下平均加速分别达到 2.8x 和 2.9x。
来源：arXiv 人工智能 · arxiv.org