跳到正文
原文
arXiv 自然语言处理· Zishuo Bao, Zeshen Zhang, Linkun Chen, Yucheng Lu·· 21 小时前AI 评分46

FlyWheel:专为 TPU 构建的注意力算子

FlyWheel: Attention Kernels Built for the TPU

AI 导读

研究者提出专为 TPU 构建的注意力算子集 FlyWheel,支持 softmax 与线性注意力,在 TPU v6e 上达到 81% 的 BF16 峰值吞吐量。该算子使 softmax 注意力较 RPA 提速最高 4.14x、Gated DeltaNet prefill 提速最高 3.61x,集成到 vLLM 运行千问(Qwen3.8-27B)时将 prefill 吞吐量提升最高 1.56x。

来源:arXiv 自然语言处理 · arxiv.org