研究人员提出自适应投机解码框架Hybrid Spark

1. 13:00
   arXiv 人工智能

   Hybrid Spark：按生成内容自适应选择草稿器的投机解码框架

   Hybrid Spark 是一种结合基于模型与无模型草稿器的自适应投机解码框架，可根据生成内容在 GPU 上为每个请求动态选择更优的候选链。通过校准无模型草稿器的接受率估计，该方案将两类草稿 token 置于统一尺度进行验证预算分配。在 vLLM 集成测试中，其在代码编辑任务中取得 dspark 的 1.10–1.62x 输出吞吐量，并在对话场景保持 0.97–1.01x 水平。

Current heat 8·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.