arXiv 自然语言处理· Xujun Che, Farsheed Haque, Depeng Xu, Xi Niu, Haopeng Zhang·· 4 小时前AI 评分39
扩散大语言模型中采样器引发的偏差研究：谁被揭开了面具？
Who Gets Unmasked? Sampler-Induced Bias in Diffusion Language Models
AI 导读
研究发现扩散大语言模型（dLLM）的采样提交规则会在模型自身偏差之上引入采样器偏差，LLaDA 和 Dream 等模型常用的高概率优先提交规则会偏向多数派选项，加剧职业性别刻板印象并导致观点分布崩溃。为此研究团队提出 Fork-First Sampling 方法，仅需增加一次前向传播即可在生成其他内容前先确定分歧属性，从而贴合目标分布并提升文本流畅度。
来源：arXiv 自然语言处理 · arxiv.org