ホットトピック継続更新中
研究者提出大模型推理调度系统LEAP
1 件の報道1 件の報道元4 時間前 更新
まずこの件を把握する
AI 概要
2026年11月2日，研究人员在arXiv发布大语言模型推理长度预测系统LEAP。该系统通过复用prefill隐藏状态并结合异步CPU执行，实现高效的长度感知调度。针对领域漂移问题，LEAP在测试时采用递推最小二乘法进行在线自适应，在较大领域漂移下可将Spearman相关系数提升64.7%。实际服务实验显示，LEAP将平均per-token延迟降低了15.9%至40.8%，同时其预测器参数量相比最强基线减少了30,569倍。
AI が報道をもとに生成 · 4 時間前 更新
最新の進展11月2日 13:00
研究人员提出推理调度系统LEAP，大幅降低延迟且预测器参数量减少逾3万倍。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月2日
- arXiv 人工智能LEAP：基于泛化长度预测的高效 LLM 推理调度
研究人员提出 LLM 推理长度预测系统 LEAP，通过复用 prefill 隐藏状态与异步 CPU 执行，实现高效的长度感知调度。系统在测试时采用递推最小二乘法在线自适应，在较大领域漂移下将 Spearman 相关系数提升 64.7%。服务实验显示，LEAP 将平均 per-token 延迟降低 15.9–40.8%，预测器参数量比最强基线减少 30,569x。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月2日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。