arXiv 人工智能· Kwan Yan, Jialun Zhong, Yanzeng Li·· 5 時間前AI スコア39
LEAP：基于泛化长度预测的高效 LLM 推理调度
LEAP: Efficient LLM Inference Scheduling with Generalizable Length Prediction
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出 LLM 推理长度预测系统 LEAP，通过复用 prefill 隐藏状态与异步 CPU 执行，实现高效的长度感知调度。系统在测试时采用递推最小二乘法在线自适应，在较大领域漂移下将 Spearman 相关系数提升 64.7%。服务实验显示，LEAP 将平均 per-token 延迟降低 15.9–40.8%，预测器参数量比最强基线减少 30,569x。
出典：arXiv 人工智能 · arxiv.org