研究者提出连续扩散语言模型免训练长度外推方法RangeSWA
Start here
2026年11月2日，研究人员在arXiv发表研究，提出面向连续扩散语言模型的免训练长度外推方法 RangeSWA，旨在解决模型生成长度超出训练长度时出现的文本重复、语义漂移与质量退化问题。该方法结合了局部滑动窗口注意力、远端分块摘要和动态内容检索技术，并通过位置重映射、条件注意力校正以及去噪阶段自适应窗口调度来减轻生成退化现象。多模型实验结果显示，RangeSWA 能有效降低长文本生成的困惑度并抑制文本重复率。
AI-generated from reports · Updated 10 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理RangeSWA：连续扩散语言模型的免训练长度外推方法
研究人员提出面向连续扩散语言模型的免训练长度外推方法 RangeSWA，解决生成长度超出训练长度时的文本重复、语义漂移与质量退化问题。该方法结合局部滑动窗口注意力、远端分块摘要和动态内容检索，并通过位置重映射、条件注意力校正及去噪阶段自适应窗口调度减轻生成退化。多模型实验表明，RangeSWA 能有效降低长文本生成的困惑度与文本重复率。
Story heat trend
Current heat 8·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.