arXiv 人工智能· Xuan Wang, Zhuanhao Wu, Tingzhu Fang, Xushi Li, Sicheng Zhang, Zhenyu Yang, Feng Liu, Zhaohui Fan, Qiang Xie, Huayi Zou, Yuncong Liu, Zeyu Song, Ke Zhu, Yanjia Zeng, Jingchun Gao, Yan Shi, Kui Luo, Gezi Li, Liangjun Feng, Cheng Li·· 5 時間前AI スコア46
FlashOffloading：面向长上下文 LLM 服务的低延迟 KV Cache 卸载技术
FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出 FlashOffloading 架构，通过将 prefill 与 decode 阶段的 KV cache 完全卸载至主机 DRAM，解决长上下文 LLM 推理的显存瓶颈与延迟问题。
出典：arXiv 人工智能 · arxiv.org