arXiv 人工智能· Loay Mualem, Llu\'is Pastor-P\'erez, Vinh Tong, Andrei Manolache, Tanja Bien, Steffen Staab, Mathias Niepert·· 6 小时前AI 评分35
基于上下文选择与目标加权的扩散语言模型微调方法
Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting
AI 导读
研究人员提出离散扩散语言模型微调方法 GoldiMask，通过近似最大化次模目标来选择上下文 token 并对预测目标加权。在 3 个骨干模型和 3 个训练数据集上的评估显示，GoldiMask 在多数设置下取得最高平均准确率，提升了推理与代码生成表现。在置信度阈值并行解码下，该方法还在 GSM8K 和 MATH-500 上减少了解码迭代次数。
来源：arXiv 人工智能 · arxiv.org