本文へスキップ
原文
量子位· 鹭羽·· 7 時間前厳選AI スコア74

MITが「重み空間プログラミング」を提案:GPT-6 AstraがQwen3.5の重みを直接分析・編集して性能向上

MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

AI ガイド

MITの研究チームは「重み空間プログラミング(Weight Space Programming)」手法を提案し、フロンティアモデル「GPT-6 Astra」が勾配学習を伴わずに他のニューラルネットワークの重みを直接分析・改変できるようにした。実験においてAstraは、Qwen3.5-0.8Bのフィードフォワードネットワークにおける0.016%の重みを特定して修正することで推論のループ問題を解消し、MATH-500のスコアを7.9%から48.1%へと引き上げた。さらに、Astraはミニゲーム「MinAtar」用のネットワークの重みをゼロから直接生成し、スコア517.4を記録。これは5億ステップ学習させたPPOベースラインの20倍を超える水準だ。

推薦理由

本研究は勾配逆伝播を介さずに大規模モデルがニューラルネットワークのパラメータを直接書き換えるものであり、モデルのファインチューニングやパラメータ診断における全く新たな道を切り拓くものとなる。

出典:量子位 · qbitai.com