Skip to content
arXiv 人工智能· Ekagra Ranjan, Bharat Venkitesh·· 3 hours agoAI score39

Hybrid Spark:按生成内容自适应选择草稿器的投机解码框架

Hybrid Spark: Adaptive Speculative Decoding That Lets the Content Choose the Drafter

Not yet translated; shown in Chinese.

AI guide

Hybrid Spark 是一种结合基于模型与无模型草稿器的自适应投机解码框架,可根据生成内容在 GPU 上为每个请求动态选择更优的候选链。通过校准无模型草稿器的接受率估计,该方案将两类草稿 token 置于统一尺度进行验证预算分配。在 vLLM 集成测试中,其在代码编辑任务中取得 dspark 的 1.10–1.62x 输出吞吐量,并在对话场景保持 0.97–1.01x 水平。

Source:arXiv 人工智能 · arxiv.org