量子位· 鹭羽·· 20 小时前精选AI 评分74
MIT提出权重空间编程:GPT-6 Astra可直接分析并编辑Qwen3.5权重提升性能
MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍
AI 导读
MIT研究团队提出权重空间编程方法,让前沿大模型GPT-6 Astra在无需梯度训练的情况下直接分析并修改其他神经网络的权重。在测试中,Astra通过定位并修改Qwen3.5-0.8B前馈网络中0.016%的权重,解决了推理循环问题,将MATH-500得分从7.9%提升至48.1%。此外,Astra还能直接从零生成MinAtar小游戏网络权重,得分达517.4,超过训练5亿步的PPO基线20倍。
推荐理由
该研究跳过梯度反向传播直接由大模型改写神经网络参数,为模型微调与参数诊断提供了全新的可能路径。
来源:量子位 · qbitai.com