arXiv 机器学习· Wentao Ni, Hong Cai, Mingu Lee, Chihao Yu, Zhongming Yu, Hejia Zhang, Kangqi Zhang, Fatih Porikli, Zhijian Liu, Jishen Zhao·· 10 hours agoAI score40
TileWeave：面向移动端 SoC 稀疏预填充的异构分块技术
TileWeave: Heterogeneous Tiling for Sparse Prefill on Mobile SoCs
Not yet translated; shown in Chinese.
AI guide
TileWeave 提出面向移动 SoC 的异构分块方案，将高复用 key 块分流至 NPU、低复用块交由 GPU 执行，以加速大语言模型长上下文稀疏预填充。
Source:arXiv 机器学习 · arxiv.org