研究团队提出Loopback Transformer架构

1. 13:00
   arXiv 机器学习

   Loopback Transformer：迈向残差循环 Transformer 的统一视角

   Loopback Transformer 提出通过分离输入路径与个体更新，利用几何衰减与注意力机制控制并分配更新权重。在 ClimbMix 上，该架构在 191M 至 3B 规模下仅需标准 Transformer 40-75% 的参数即可取得更低验证损失。其在 1.4B 与 3B 规模的 13 项下游任务中平均准确率更高，且在 191M 至 778M 规模优于 7 种循环残差设计。

Current heat 8·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.