研究团队提出开源循环Transformer架构ARLoop

1. 13:00
   arXiv 自然语言处理

   ARLoop：基于注意力残差的完全开源预训练循环 Transformer

   研究人员提出开源循环 Transformer 架构 ARLoop，通过深度注意力残差选择性聚合层间表示。该架构进一步扩展至 0.6B 与 1.2B 参数，其中仅用 0.5T tokens 预训练的 1.2B 模型在所有评估任务中均超越 Huginn-3.5B。其在数学与代码任务上提升显著，能以大幅减少的训练数据匹敌 Qwen3.5-2B 等同规模非循环模型。

Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.