arXiv 人工智能· Kwan Yan, Jialun Zhong, Yanzeng Li·· 5 hours agoAI score39
LEAP：基于泛化长度预测的高效 LLM 推理调度
LEAP: Efficient LLM Inference Scheduling with Generalizable Length Prediction
Not yet translated; shown in Chinese.
AI guide
研究人员提出 LLM 推理长度预测系统 LEAP，通过复用 prefill 隐藏状态与异步 CPU 执行，实现高效的长度感知调度。系统在测试时采用递推最小二乘法在线自适应，在较大领域漂移下将 Spearman 相关系数提升 64.7%。服务实验显示，LEAP 将平均 per-token 延迟降低 15.9–40.8%，预测器参数量比最强基线减少 30,569x。
Source:arXiv 人工智能 · arxiv.org