热点事件持续更新
研究提出自适应深度循环Transformer固定优先训练法
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
2026年10月14日，相关研究提出一种针对循环 Transformer 的 fixed-first（固定优先）训练方法，表明自适应深度训练仅需作为收尾阶段进行。实验数据显示，在 200M 参数规模下，若前 67% 训练阶段固定深度为 2，可在平均 NLL 差异保持在 0.5% 以内的前提下减少 45% 的算力；在 1B 参数规模下，初始固定深度为 4 进行训练能够减少 31% 至 37% 的算力以及 32% 至 39% 的耗时，同时下游任务表现差异均保持在随机种子波动范围内。
AI 根据报道生成 · 5 小时前更新
最新进展10月14日 12:00
研究提出针对循环Transformer的固定优先训练法，可大幅削减训练算力与耗时。报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- arXiv 机器学习自适应深度训练仅需作为收尾阶段
研究提出针对循环 Transformer 的 fixed-first 训练方法，仅在训练的最后收尾阶段调整模型深度。在 200M 参数下，前 67% 阶段固定深度 2 训练可减少 45% 算力，平均 NLL 差异在 0.5% 以内；在 1B 参数下，初始固定深度 4 训练可减少 31% 至 37% 算力与 32% 至 39% 耗时，且下游表现差异处于随机种子波动范围内。
本事件热度走势
当前热度 8·可比范围峰值 9（10月14日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。