arXiv 机器学习· Magnus Sesodia, Juil Sock, Philip Torr, Christian Schroeder de Witt·· 6 小时前AI 评分38
循环 Transformer 在深度受限算法任务中的机制研究
Inside the Loop: A Mechanistic Study of Weight-Tied Transformers on Depth-Bound Algorithmic Tasks
AI 导读
研究发现循环 Transformer 能通过权重共享在不增加参数和 token 的情况下提升有效深度，成功解决深度受限的算法任务。在有向置换遍历任务中，由 4 层模块循环迭代 8 次的模型在所有随机种子下均成功解题，而同等有效深度且相同训练配置的未绑定权重 Transformer 则全部失败。探针分析显示，循环模型会像逐步迭代的程序一样逐步推进中间计算并适应迭代预算。
来源：arXiv 机器学习 · arxiv.org