热点事件持续更新
研究者提出大模型推理调度系统LEAP
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月2日，研究人员在arXiv发布大语言模型推理长度预测系统LEAP。该系统通过复用prefill隐藏状态并结合异步CPU执行，实现高效的长度感知调度。针对领域漂移问题，LEAP在测试时采用递推最小二乘法进行在线自适应，在较大领域漂移下可将Spearman相关系数提升64.7%。实际服务实验显示，LEAP将平均per-token延迟降低了15.9%至40.8%，同时其预测器参数量相比最强基线减少了30,569倍。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
研究人员提出推理调度系统LEAP，大幅降低延迟且预测器参数量减少逾3万倍。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv 人工智能LEAP：基于泛化长度预测的高效 LLM 推理调度
研究人员提出 LLM 推理长度预测系统 LEAP，通过复用 prefill 隐藏状态与异步 CPU 执行，实现高效的长度感知调度。系统在测试时采用递推最小二乘法在线自适应，在较大领域漂移下将 Spearman 相关系数提升 64.7%。服务实验显示，LEAP 将平均 per-token 延迟降低 15.9–40.8%，预测器参数量比最强基线减少 30,569x。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。