Skip to content
Hot storiesContinuously updated

研究团队提出跨硬件注意力机制CHARM+

1 reports1 reporting sourcesUpdated 10 hours ago

Start here

AI overview

2026年11月5日，arXiv人工智能领域报道了跨硬件注意力机制CHARM+。该方案基于重合并多流机制，通过分层重组通信并解耦跨硬件通信，消除了序列并行中的带宽失衡与同步开销。性能测试显示，相比Ring-Attention，CHARM+的前向和反向算法在双NUMA PCIe架构下分别取得平均1.3倍和1.7倍的加速，在双节点NVLink架构下的平均加速则分别达到2.8倍和2.9倍。

AI-generated from reports · Updated 10 hours ago

Latest developmentsNov 5 13:00
CHARM+方案公布，通过重合并多流机制在双节点NVLink下实现最高2.9倍加速。

Report timeline

Follow the reports to see different sides of the story.

Nov 5
  1. arXiv 人工智能
    CHARM+：基于重合并多流机制的跨硬件注意力方案

    CHARM+ 提出了一种基于重合并多流机制的跨硬件注意力方案，通过分层重组通信并解耦跨硬件通信，消除了序列并行中的带宽失衡与同步开销。相比 Ring-Attention，其前向和反向算法在双 NUMA PCIe 架构下分别取得平均 1.3x 和 1.7x 的加速，在双节点 NVLink 架构下平均加速分别达到 2.8x 和 2.9x。

Story heat trend

Current heat 8·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–

02.557.510Nov5Nov5Nov5Nov5

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.