arXiv 机器学习· Ivan Viakhirev, Kirill Borodin, Maxim Abramov, Grach Mkrtchian·· 8 小时前AI 评分36
循环语言模型的深度可复用性取决于一致性而非归一化
Agreement rather than normalisation keeps depth reusable in looped language models
AI 导读
循环语言模型的深度可复用性取决于训练与运行循环的一致性，而非循环步间的状态归一化。在 Ouro-1.4B 和 Ouro-2.6B 上直接移除该归一化会导致二分类准确率归零，但在从头训练的 19M 参数模型中无归一化训练外推表现更优（Cliff's delta 达 0.867）。同时，重新拟合预测头与模块最后一层可完全恢复准确率损失。
来源：arXiv 机器学习 · arxiv.org