arXiv 机器学习· Wentao Ni, Hong Cai, Mingu Lee, Chihao Yu, Zhongming Yu, Hejia Zhang, Kangqi Zhang, Fatih Porikli, Zhijian Liu, Jishen Zhao·· 15 小时前AI 评分40
TileWeave：面向移动端 SoC 稀疏预填充的异构分块技术
TileWeave: Heterogeneous Tiling for Sparse Prefill on Mobile SoCs
AI 导读
TileWeave 提出面向移动 SoC 的异构分块方案，将高复用 key 块分流至 NPU、低复用块交由 GPU 执行，以加速大语言模型长上下文稀疏预填充。
来源：arXiv 机器学习 · arxiv.org