arXiv 自然语言处理· Yuekun Yao, Yupei Du, Dawei Zhu, Huan Sun·· 8 hours agoAI score40
ARLoop：基于注意力残差的完全开源预训练循环 Transformer
ARLoop: Fully-Open Pre-trained Looped Transformers with Attention Residuals
Not yet translated; shown in Chinese.
AI guide
研究人员提出开源循环 Transformer 架构 ARLoop，通过深度注意力残差选择性聚合层间表示。该架构进一步扩展至 0.6B 与 1.2B 参数，其中仅用 0.5T tokens 预训练的 1.2B 模型在所有评估任务中均超越 Huginn-3.5B。其在数学与代码任务上提升显著，能以大幅减少的训练数据匹敌 Qwen3.5-2B 等同规模非循环模型。
Source:arXiv 自然语言处理 · arxiv.org