arXiv 自然语言处理· Yue Wu, Qinghe Zhang, Yu Zhang, Jian Huang·· 4 小时前AI 评分38
CoDR：面向扩散语言模型的无需训练置信度漂移重掩码方法
CoDR: Training-Free Confidence-Drift Remasking for Diffusion Language Models
AI 导读
研究团队提出 CoDR（置信度漂移重掩码），一种用于掩码扩散语言模型的无需训练且兼容多种采样器的生成精炼方法。针对早期固化 token 置信度随上下文变稠密而下降的问题，CoDR 仅用 k 次前向传播评估漂移，并重新掩码和生成被否定的 token。在 2 个骨干模型、4 项推理与代码任务和 3 种基础采样器上，CoDR 均提升了平均准确率，代码已开源。
来源：arXiv 自然语言处理 · arxiv.org