arXiv 机器学习· Sai Sreenivas Chintha, Chidera Biringa, Rishab Sharma, Anusha Agrawal, Prachi Badarayani, Gemma Zhang, Nigel Boachie Kumankumah, Marco Ayala, Sulaiman Vesal·· 5 小时前AI 评分34
CADENCE：下一 Token 还是向量？学习解码多远距离
Next Token or Vector? Learning How Far to Decode
AI 导读
研究人员提出名为 CADENCE 的生成方法，能同时学习预测什么内容以及预测多长距离。该方法利用高斯预测头将未来文本片段表示为连续潜在向量并通过共享解码器并行转为 token，同时用路由器根据上下文动态选择预测长度。在 Llama-3.1-8B-Instruct 上的评测显示，CADENCE 生成吞吐量较标准贪婪解码最高提升 1.3x。
来源：arXiv 机器学习 · arxiv.org