大模型跨架构动态梯度自适应测试揭示性能表现与局限

2026年10月27日，arXiv机器学习发布关于大语言模型跨架构梯度自适应的评测结果。测试显示，语言模型在阅读文本时进行动态梯度自适应可有效降低损失。其中，Softmax注意力模型在2k上下文下损失下降5%至8%，表现优于32k的冻结模型；而混合Gated-DeltaNet架构的收益则低于1%。然而，在RULER等基准测试中，权重更新并不能恢复上下文截断造成的损失，自适应能力主要局限于风格与词汇层面，而非检索能力；此外，通过梯度直接写入事实还会导致模型在GSM8K评测中的得分显著下降36至38分。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。