本文へスキップ
原文
arXiv 人工智能· Ekagra Ranjan, Bharat Venkitesh·· 7 時間前AI スコア39

Hybrid Spark:按生成内容自适应选择草稿器的投机解码框架

Hybrid Spark: Adaptive Speculative Decoding That Lets the Content Choose the Drafter

未翻訳のため中国語で表示しています。

AI ガイド

Hybrid Spark 是一种结合基于模型与无模型草稿器的自适应投机解码框架,可根据生成内容在 GPU 上为每个请求动态选择更优的候选链。通过校准无模型草稿器的接受率估计,该方案将两类草稿 token 置于统一尺度进行验证预算分配。在 vLLM 集成测试中,其在代码编辑任务中取得 dspark 的 1.10–1.62x 输出吞吐量,并在对话场景保持 0.97–1.01x 水平。

出典:arXiv 人工智能 · arxiv.org