順位の算出方法
複数の公開評価を総合し、順位の背景にある根拠と手法を理解する。
0—100
共通の根拠、明確な順序。
複数の公開評価を総合し、完全な順位の中で既知の成績との矛盾を最小化します。総合ランキングと4カテゴリのランキングはいずれも上位30位まで表示します。
コンセンサス指数は元の順位を支持する根拠の差を0〜100に換算して比較しやすくしたもので、正答率や能力差の割合ではありません。支持が接近すると同点になることがありますが、順位は全根拠で決まります。
- 01
まず同じモデルであることを確認
各ランキングの名称とバージョンを統一します。同じモデルの異なる推論レベルは、事前に定めたルールで代表設定を1つ選び、最高スコアを選ぶことはしません。匿名のテストコード名や他モデルを併用した成績は除外し、正式公開された Preview 版は参加できます。
- 02
実際にテストしたモデル同士を比較
同じ評価の実測成績のみを比較します。双方に公開された誤差がある場合、誤差範囲内の僅差は確定的な勝敗ではなく引き分けに近いものとして扱います。測定されていなければ、その比較は存在しません。
- 03
票の重みを定め、共通の意見を集約
各評価には事前に定めた予算を用います。総合ランキングには最低3つの評価機関、3つの根拠ファミリー、3つの専門分野のカバーが必要です。同じ情報源の重複取得や表示上の切り分けで票の重みは増えません。
- 04
矛盾が最も少ない完全な順位を探す
評価同士の意見は食い違うことがあります。共通根拠の純票に最も反しない順序を選び、表示用の指数は別に算出します。未評価を0点で補うことも、未公開の成績を推測することもしません。
総合テスト、人間のブラインド評価、専門評価をまとめて確認。
総合評価が30%、人間のブラインド評価が10%、各専門評価の合計が60%を占めます。新しい評価は公開資料で重複を確認してから該当する枠で配分し、欠けた枠を他の評価へ回すことはありません。
- 综合评测30%AA Index
- 真人盲选10%Arena Text · Arena 创作盲选
- 编程与设计12%Arena WebDev · DeepSWE v1.1 · TapTap Maker · LiveBench · 编程综合 · CursorBench · ALE-Bench
- 写作与表达9%LiveBench · 语言与指令 · Creative Writing v3 · Longform Writing
- 数学与推理12%LiveBench · 推理与数学 · FrontierMath v2 · Tiers 1–3 · FrontierMath v2 · Tier 4 · Chess Puzzles · Mystery Game Puzzles · OTIS Mock AIME
- 知识与事实6%SimpleQA Verified · GPQA Diamond
- 视觉理解6%Arena Vision
- 工具与办公6%APEX-Agents 1.1 · Vending-Bench 2 · τ³-Banking
- 中文与多语言6%AA 中文／多语言
- 行业专业任务3%Vals Finance Agent
コーディング、推論、知識、専門業務はそれぞれ実際の評価を探し、カテゴリスコアを独立して算出します。視覚理解と多言語の根拠は総合ランキングに残し、カテゴリ名の変更で同じ成績の票が増えることはありません。総合スコアはカテゴリスコアの算術平均ではありません。カテゴリの表示には通常、有効な評価2件以上と比較可能な型番5件以上が必要です。知識は現在 Epoch の2種類の評価に依拠しており、同一機関である制約を明記しています。創作の嗜好やウェブ開発などの根拠は総合ランキングに引き続き用い、初版では美的感覚や執筆の単独ランキングは設けません。
こちらもおすすめ
根拠の少ないモデルがランクインできるのはなぜですか？
「根拠に敏感」とは何ですか？
上位モデルは1対1の比較で必ず勝ちますか？
順位が自分の体感と異なるのはなぜですか？
新モデルはいつ掲載されますか？
評価サイトが一時的に利用できない場合は？
総合指数は専門評価と二重に計上されますか？
価格や速度は順位に影響しますか？
計算の詳細と現行バージョンを見る
手法バージョン：2026.10-public-consensus-v16。重み付き不完全 Kemeny 順位法を採用しています。共通評価された各モデル対の純支持 M を集計し、逆順となる純支持の合計を最小化します。整数最適化が最適性と目的関数の上下限を返し、検証を完全に通過した結果のみ正式公開します。
双方に明示された標準誤差がある場合、純支持は 2Φ(点差 / 合成標準誤差) − 1 とし、既定で共分散はゼロとします。それ以外の比較は素の優劣の方向のみを用います。未知の誤差はゼロ誤差ではなく、小さな点差を序数で扱う点は引き続き制約です。票の重みは潜在的なモデル対に対するもので、対象型番の多い情報源はより多くの比較枠を使うため、名目予算を最終順位への正確な寄与率と解釈することはできません。
表示用の指数は元の順序を保ちます。隣接するモデルの順序を1組ずつ反転し、他のモデルの並び替えを許して、増加する逆方向の純支持の最小値を計算します。この非負の支持差を元の順位に沿って累積し、固定参照グループに対してシグモイドで0〜100に写像します。代替順序も同等に最適な場合は間隔をゼロのまま保ち、小数第1位まで表示し、最小点差を人為的に設けません。指数は順位に逆流しません。掲載対象、参照型番、根拠の変化は指数に影響し、点差は実際の能力差と等しくありません。同コストの場合はモデル ID の固定順で解きます。整数最適化には HiGHS ソルバー（highs 1.15.3）を使用し、誤差換算の正規分布関数は SciPy norm.cdf と同じアルゴリズムを用います。情報源、ライセンス、参加資格、各回の入力はバージョン管理しています。共通根拠のネットワークでつながらない場合、成分間の見かけ上精密な順序は公開しません。
固定参照型番：claude-fable-5、gpt-5-6-sol、kimi-k-3、qwen-3-8-max、gpt-5-4、claude-opus-4-8、claude-sonnet-5、grok-4-5、gemini-3-5-flash、glm-5-2、claude-sonnet-4-6、qwen-3-7-max、kimi-k-2-6、deepseek-v-4-pro、qwen-3-6-plus、minimax-m-3、gpt-5-4-mini、grok-4-3。参照グループは指数の尺度を定めるもので、特定企業の順位を指定しません。カテゴリの異なる指数は直接比較できません。