arXiv 人工智能· Kartik Ramesh, Kaidi Fu, Zihan Zheng, Jiahuan Yu, Fabio Oliveira, Carlos Costa, Minjia Zhang·· 1 天前AI 评分43
FluidPD：面向大语言模型 Prefill-Decode 分离推理的 SLO 感知就地弹性系统
FluidPD: In-Place Elasticity for SLO-Aware Prefill-Decode Disaggregated LLM Serving
AI 导读
FluidPD 针对大语言模型 Prefill-Decode 分离推理提出 SLO 感知的就地弹性架构，解决阶段负载失衡导致的延迟违规。系统引入动态卸载 prefill 计算的 FluidToken，以及无需重载模型即可就地切换 worker 角色的 FluidRole。
来源：arXiv 人工智能 · arxiv.org