arXiv 机器学习· Alexey Zemtsov, Albina Klepach, Vadim Lomshakov, Andrei Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Vladislav Kurenkov, Alexander Nikulin·· 13 小时前AI 评分33
Looped Transformer 引入分块共形映射：通过旋转循环提升状态追踪与语言建模能力
Rotate the Loop: Blockwise Conformality for Looped Transformers
AI 导读
研究人员针对复用共享模块的 Looped Transformer 提出分块共形映射（blockwise conformal injections），使残差在坐标对齐的分组内旋转以维持几何结构并分配不同时间尺度。实验显示，该方法在严苛的前缀正确下尾 token 准确率（last-token accuracy）状态追踪任务以及需要跨序列检索早期信号的语言建模中均实现了性能提升。
来源：arXiv 机器学习 · arxiv.org