arXiv 自然语言处理· Haoning Yang, Lili Pan·· 2 小时前AI 评分38
GRAFT：为连续扩散语言模型重建缺失的采样接口
GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models
AI 导读
研究人员提出免训练方法 GRAFT，为连续扩散语言模型补齐离散采样接口，解决罕见词生成率过低的词汇长尾崩溃问题。该方法在模型未决阶段提前锁定易被平均值稀释的罕见词，并在固定这些词后重新生成完整序列。在 ELF 与 LangFlow 上的测试显示，GRAFT 将罕见词生成占比从人类水平的 0.42-0.77x 恢复至 0.82-1.10x，相对提升 34-109%。
来源：arXiv 自然语言处理 · arxiv.org