量子位· 鹭羽·· 7 時間前厳選AI スコア74
MITが「重み空間プログラミング」を提案:GPT-6 AstraがQwen3.5の重みを直接分析・編集して性能向上
MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍
AI ガイド
MITの研究チームは「重み空間プログラミング(Weight Space Programming)」手法を提案し、フロンティアモデル「GPT-6 Astra」が勾配学習を伴わずに他のニューラルネットワークの重みを直接分析・改変できるようにした。実験においてAstraは、Qwen3.5-0.8Bのフィードフォワードネットワークにおける0.016%の重みを特定して修正することで推論のループ問題を解消し、MATH-500のスコアを7.9%から48.1%へと引き上げた。さらに、Astraはミニゲーム「MinAtar」用のネットワークの重みをゼロから直接生成し、スコア517.4を記録。これは5億ステップ学習させたPPOベースラインの20倍を超える水準だ。
推薦理由
本研究は勾配逆伝播を介さずに大規模モデルがニューラルネットワークのパラメータを直接書き換えるものであり、モデルのファインチューニングやパラメータ診断における全く新たな道を切り拓くものとなる。
出典:量子位 · qbitai.com