arXiv 自然语言处理· Zishuo Bao, Zeshen Zhang, Linkun Chen, Yucheng Lu·· 14 hours agoAI score46
FlyWheel：专为 TPU 构建的注意力算子
FlyWheel: Attention Kernels Built for the TPU
Not yet translated; shown in Chinese.
AI guide
研究者提出专为 TPU 构建的注意力算子集 FlyWheel，支持 softmax 与线性注意力，在 TPU v6e 上达到 81% 的 BF16 峰值吞吐量。该算子使 softmax 注意力较 RPA 提速最高 4.14x、Gated DeltaNet prefill 提速最高 3.61x，集成到 vLLM 运行千问（Qwen3.8-27B）时将 prefill 吞吐量提升最高 1.56x。
Source:arXiv 自然语言处理 · arxiv.org