Skip to content
Hot storiesContinuously updated

研究团队提出SparseGDN线性注意力加速框架

1 reports1 reporting sourcesUpdated 5 hours ago

Start here

AI overview

2026年11月2日,arXiv机器学习板块发布研究成果,研究人员提出了一种名为SparseGDN的硬件感知框架。该研究主要针对线性注意力机制中的门控Delta网络(GDN),旨在解决其在处理长上下文时的效率瓶颈。SparseGDN框架通过采用结构化块内近似以及动态循环事件选择技术,成功降低了GDN在长上下文场景下的prefill计算开销,并且在优化过程中仍能保持全token输出。

AI-generated from reports · Updated 5 hours ago

Report timeline

Follow the reports to see different sides of the story.

Nov 2
  1. arXiv 机器学习
    SparseGDN:线性注意力中的分块稀疏

    研究人员提出硬件感知框架 SparseGDN,通过结构化块内近似与动态循环事件选择,降低门控 Delta 网络(GDN)的长上下文 prefill 开销并保持全 token 输出。

Story heat trend

Current heat 9·Comparable peak 10(Nov 2 14:00)·Comparable change, last 24 hours–

02.557.510Nov2Nov2Nov2Nov2

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.