研究人员提出LLM推理服务系统FluidPD

2026年10月7日，研究人员在arXiv上公布了面向大语言模型（LLM）Prefill-Decode分离推理的SLO感知就地弹性系统FluidPD。该系统旨在解决Prefill与Decode阶段负载失衡所导致的延迟违规问题。FluidPD主要引入了两项核心机制：一是可动态卸载prefill计算的FluidToken，二是无需重新加载模型即可实现worker角色就地切换的FluidRole，从而提升推理服务的弹性与服务质量。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。