arXiv 自然语言处理· Yukai Jin, Zhankai Ye, Jiayue Yang, Fangyi Li, Shuoqiu Li, Xu Gao, Shibo Li, Xin Liu, Shangqian Gao·· 6 小时前AI 评分33
TraceQuery：基于全去噪轨迹学习扩散语言模型的重计算机制
TraceQuery: learning what to recompute from full-denoising trajectory in diffusion language models
AI 导读
轻量级稀疏解码框架 TraceQuery 面向扩散大语言模型（dLLM）提出，通过全去噪轨迹引导稀疏重计算以降低推理开销。该方法仅预测并查询少量与近未来轨迹相关的候选位置，由主干网络从中选择并提交预测。TraceQuery 在缓存加速方案中取得最优质量与计算权衡，能以更少的 token 计算量维持高准确率，且具备跨任务与模型族的泛化能力。
来源：arXiv 自然语言处理 · arxiv.org