arXiv 自然语言处理· Tsung-Han Wu, Minsuk Heo, Kenny Tan·· 6 小时前AI 评分46
循环语言模型中的 Halting Head 真的能节省算力吗？
Do Halting Heads Really Save Compute in Looped Language Models?
AI 导读
一项针对最高 1.3B 参数循环语言模型的研究发现，用于提前终止 token 迭代以节省算力的 Halting Head 实际收益被普遍夸大。受标准停止规则与批处理需等待最慢 token 影响，token 几乎跑满所有迭代，导致同等成本下无头模型表现几乎与之相当。研究建议结合停止阈值和 batch size 汇报实际迭代数，并给出了训练前评估增益上限的测试方法。
来源：arXiv 自然语言处理 · arxiv.org