arXiv 机器学习· Aaryam Sharma·· 18 hours agoAI score38
TVP：推测解码中 TV 几乎就是全部所需
TVP: TV is Almost All You Need for Speculative Decoding
Not yet translated; shown in Chinese.
AI guide
研究人员提出针对推测解码的 TVP 损失函数族，基于期望接受长度与全变差（TV）距离优化草稿模型。针对 TV 梯度消失等问题，TVP 通过幂参数在覆盖率与接受率目标间插值，在 3 种草稿架构和 3 种目标模型上均取得最高或并列最高接受长度。微调时 TVP 相比 CE 将接受长度提升 9.8%，较 DFlash2 提升 6.2% 至 12.9%。
Source:arXiv 机器学习 · arxiv.org