跳到正文
原文
vLLM 官方博客(网页)·· 2 小时前精选AI 评分60

vLLM 推出无置信度头自适应验证机制

Adaptive Verification Without a Confidence HeadOct 14, 2026·16 min readAn online-fitted acceptance estimator that lets every draft-model speculator use Adaptive Verification, by predicting the target's acceptance probability from the drafter's own logits and refitting continuously during serving.

AI 导读

vLLM 在投机解码中推出无置信度头自适应验证机制,通过在线拟合估计器直接从草稿模型的 logits 预测目标模型接受率,使 EAGLE、MTP、DFlash 等存量模型无需重训即可启用验证裁剪。

推荐理由

该方案通过在线拟合接受率避免了重新训练草稿模型的成本,让各类存量投机解码检查点无需置信度头即可接入自适应验证。

来源:vLLM 官方博客(网页) · vllm.ai