arXiv 自然语言处理· Guancheng Du, Luotian Huang, Shaowen Wang, Si Li, Kaifeng Lyu·2026-10-07 12:00· 4 小时前AI 评分43

WavePrune：RoPE 单个旋转周期通常已足够

WavePrune: One period is often enough for RoPE

AI 导读

研究提出 WavePrune 方法，通过将 RoPE 各通道限制在首个旋转周期内来消除位置混叠干扰，从而提升长上下文性能。该方法无需额外微调即可将 Qwen3-8B 的 HELMET 分数从 35.7 提升至 40.0，从头预训练时在外推长度下验证损失更低。