arXiv 机器学习· Amir Rezaei Balef, Katharina Eggensperger·· 1 天前AI 评分38
LoopICL：循环单个 Transformer 架构块解决表格任务
LoopICL: Looping a single transformer block to solve tabular tasks
AI 导读
研究人员提出表格基础模型 LoopICL，通过循环复用单个 Transformer 架构块将参数量与计算深度解耦。该模型结合单元格流与行流注意力机制，并在测试时通过可学习的 exit-gate 门控自适应退出迭代。在相同 FLOPs 计算成本下，LoopICL 在 TabArena 与 TALENT 上表现媲美 TabICLv2，同时参数量减少了近 90%。
来源：arXiv 机器学习 · arxiv.org