热点事件持续更新
研究揭示循环语言模型深度可复用机制
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月26日，arXiv发表的研究指出，循环语言模型的深度可复用性取决于训练与运行循环的一致性，而非循环步间的状态归一化。实验显示，在 Ouro-1.4B 和 Ouro-2.6B 模型上直接移除状态归一化会导致二分类准确率降为零；但在从头训练的 19M 参数模型中，无归一化训练的外推表现反而更优，Cliff's delta 达 0.867。此外，研究发现通过重新拟合预测头与模块最后一层，可完全恢复移除归一化带来的准确率损失。
AI 根据报道生成 · 6 小时前更新
最新进展10月26日 12:00
研究指出深度可复用性取决于循环一致性，重拟合预测头及末层可完全恢复准确率损失。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv 机器学习循环语言模型的深度可复用性取决于一致性而非归一化
循环语言模型的深度可复用性取决于训练与运行循环的一致性，而非循环步间的状态归一化。在 Ouro-1.4B 和 Ouro-2.6B 上直接移除该归一化会导致二分类准确率归零，但在从头训练的 19M 参数模型中无归一化训练外推表现更优（Cliff's delta 达 0.867）。同时，重新拟合预测头与模块最后一层可完全恢复准确率损失。
本事件热度走势
当前热度 9·可比范围峰值 10（10月26日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。