arXiv 自然语言处理· Yuekun Yao, Yupei Du, Dawei Zhu, Huan Sun·· 8 時間前AI スコア40
ARLoop：基于注意力残差的完全开源预训练循环 Transformer
ARLoop: Fully-Open Pre-trained Looped Transformers with Attention Residuals
未翻訳のため中国語で表示しています。
AI ガイド
研究人员提出开源循环 Transformer 架构 ARLoop，通过深度注意力残差选择性聚合层间表示。该架构进一步扩展至 0.6B 与 1.2B 参数，其中仅用 0.5T tokens 预训练的 1.2B 模型在所有评估任务中均超越 Huginn-3.5B。其在数学与代码任务上提升显著，能以大幅减少的训练数据匹敌 Qwen3.5-2B 等同规模非循环模型。
出典：arXiv 自然语言处理 · arxiv.org