arXiv 机器学习· Wentao Ni, Hong Cai, Mingu Lee, Chihao Yu, Zhongming Yu, Hejia Zhang, Kangqi Zhang, Fatih Porikli, Zhijian Liu, Jishen Zhao·· 19 時間前AI スコア40
TileWeave:面向移动端 SoC 稀疏预填充的异构分块技术
TileWeave: Heterogeneous Tiling for Sparse Prefill on Mobile SoCs
未翻訳のため中国語で表示しています。
AI ガイド
TileWeave 提出面向移动 SoC 的异构分块方案,将高复用 key 块分流至 NPU、低复用块交由 GPU 执行,以加速大语言模型长上下文稀疏预填充。
出典:arXiv 机器学习 · arxiv.org