Loopback Transformer：迈向残差循环 Transformer 的统一视角

Loopback Transformer 提出通过分离输入路径与个体更新，利用几何衰减与注意力机制控制并分配更新权重。在 ClimbMix 上，该架构在 191M 至 3B 规模下仅需标准 Transformer 40-75% 的参数即可取得更低验证损失。其在 1.4B 与 3B 规模的 13 项下游任务中平均准确率更高，且在 191M 至 778M 规模优于 7 种循环残差设计。