研究者提出大模型推理调度系统LEAP
Start here
2026年11月2日，研究人员在arXiv发布大语言模型推理长度预测系统LEAP。该系统通过复用prefill隐藏状态并结合异步CPU执行，实现高效的长度感知调度。针对领域漂移问题，LEAP在测试时采用递推最小二乘法进行在线自适应，在较大领域漂移下可将Spearman相关系数提升64.7%。实际服务实验显示，LEAP将平均per-token延迟降低了15.9%至40.8%，同时其预测器参数量相比最强基线减少了30,569倍。
AI-generated from reports · Updated 5 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能LEAP：基于泛化长度预测的高效 LLM 推理调度
研究人员提出 LLM 推理长度预测系统 LEAP，通过复用 prefill 隐藏状态与异步 CPU 执行，实现高效的长度感知调度。系统在测试时采用递推最小二乘法在线自适应，在较大领域漂移下将 Spearman 相关系数提升 64.7%。服务实验显示，LEAP 将平均 per-token 延迟降低 15.9–40.8%，预测器参数量比最强基线减少 30,569x。
Story heat trend
Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.