arXiv 自然语言处理· Faisal Ladhak, Shantanu Acharya, Santiago Akle Serano, Simeng Sun, Boris Ginsburg, Krishna C Puvvada·· 7 小时前AI 评分44
Elastic Latent Recurrence (ELR)：面向语言模型的弹性隐式循环机制
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
AI 导读
研究提出弹性隐式循环（ELR）训练方案，消除了循环语言模型单次循环时的精度损失，使单个检查点可按循环次数在推理算力与精度间弹性权衡。在 4B 稠密和 30B-A3B MoE 模型上，4 次循环使十项任务平均分分别提升 7.25 和 4.75 分；后训练产出的 Koi-4B 单循环表现匹配 Qwen3.5-4B，4 次循环得分从 18 提升至 29。
来源：arXiv 自然语言处理 · arxiv.org