arXiv 自然语言处理· Parul Gupta, Satwik, Avni Aggarwal, Bhavesh Gurnani, Arnab Kumar Mondal, Dinesh Khandelwal, Dinesh Garg, Parag Singla·· 2 小时前AI 评分35
分层掩码扩散语言模型（HMDLM）
Hierarchical Masked Diffusion Language Models
AI 导读
研究者提出分层掩码扩散语言模型（HMDLM），通过为不同 token 位置引入层次级别与独立噪声调度，在保持全并行解码的同时优先生成关键内容。该模型分两阶段先后预测层次分布与 token，无需或仅需极少额外标注。实验显示其在 WikiHow 上的困惑度较 MDLM 最多降低 7 点，并在数独任务中将求解准确率较现有扩散基线提升至多 8.6 个百分点。
来源：arXiv 自然语言处理 · arxiv.org