热点事件持续更新
研究团队提出开源循环Transformer架构ARLoop
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年11月4日，研究人员在arXiv上发布完全开源的循环Transformer架构ARLoop。该架构通过深度注意力残差选择性聚合层间表示，并进一步扩展至0.6B与1.2B参数规模。测试表明，仅使用0.5T tokens进行预训练的ARLoop 1.2B模型，在所有评估任务中均超越了Huginn-3.5B。此外，该架构在数学与代码任务上提升显著，能够以大幅减少的训练数据匹敌Qwen3.5-2B等同规模的非循环模型。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
研究团队提出开源循环架构ARLoop，1.2B模型仅用0.5T tokens训练即超越Huginn-3.5B。报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv 自然语言处理ARLoop：基于注意力残差的完全开源预训练循环 Transformer
研究人员提出开源循环 Transformer 架构 ARLoop，通过深度注意力残差选择性聚合层间表示。该架构进一步扩展至 0.6B 与 1.2B 参数，其中仅用 0.5T tokens 预训练的 1.2B 模型在所有评估任务中均超越 Huginn-3.5B。其在数学与代码任务上提升显著，能以大幅减少的训练数据匹敌 Qwen3.5-2B 等同规模非循环模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。