arXiv 自然语言处理· Guangfu Guo, Xiaoqian Lu, Linsey Pang, Weiran Yao, Haolin Chen, Long Cheng, Kunpeng Liu·· 10 時間前AI スコア32
RangeSWA：连续扩散语言模型的免训练长度外推方法
RangeSWA: Training-Free Length Extrapolation for Continuous Diffusion Language Models
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出面向连续扩散语言模型的免训练长度外推方法 RangeSWA，解决生成长度超出训练长度时的文本重复、语义漂移与质量退化问题。该方法结合局部滑动窗口注意力、远端分块摘要和动态内容检索，并通过位置重映射、条件注意力校正及去噪阶段自适应窗口调度减轻生成退化。多模型实验表明，RangeSWA 能有效降低长文本生成的困惑度与文本重复率。
出典：arXiv 自然语言处理 · arxiv.org