跳到正文
原文
vLLM 官方博客(网页)·· 7 小时前AI 评分57

vLLM 引入 DSpark 自适应验证机制:动态调度投机解码预算

Adaptive Verification in vLLM: DSpark confidence-scheduled verificationAug 14, 2026·8 min readSizing the DSpark draft-verification budget from per-request confidence instead of verifying every drafted token, so one configuration holds the throughput/latency frontier from batch size 1 to 256.

AI 导读

vLLM 在 PR #47808 中合并了 DSpark 自适应验证功能(enable_adaptive_verification),通过置信度预测头动态调度草稿验证预算,使投机解码在并发度 1 至 256 下均保持在吞吐与延迟的帕累托前沿。

来源:vLLM 官方博客(网页) · vllm.ai