vLLM 官方博客(网页)·· 7 小时前AI 评分57
vLLM 引入 DSpark 自适应验证机制:动态调度投机解码预算
Adaptive Verification in vLLM: DSpark confidence-scheduled verificationAug 14, 2026·8 min readSizing the DSpark draft-verification budget from per-request confidence instead of verifying every drafted token, so one configuration holds the throughput/latency frontier from batch size 1 to 256.
AI 导读
vLLM 在 PR #47808 中合并了 DSpark 自适应验证功能(enable_adaptive_verification),通过置信度预测头动态调度草稿验证预算,使投机解码在并发度 1 至 256 下均保持在吞吐与延迟的帕累托前沿。
来源:vLLM 官方博客(网页) · vllm.ai