arXiv 机器学习· Surya Saka·· 1 天前AI 评分45
语言模型能否边思考边学习？跨架构梯度自适应评测
Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures
AI 导读
评测显示大语言模型在阅读文本时进行梯度自适应可降低损失，Softmax 注意力模型在 2k 上下文下损失下降 5-8% 且优于 32k 冻结模型，而混合 Gated-DeltaNet 架构收益低于 1%。在 RULER 等基准测试中，权重更新无法恢复上下文截断损失，自适应仅限于风格与词汇而非检索，且直接写入事实会导致 GSM8K 下降 36-38 分。
来源：arXiv 机器学习 · arxiv.org