METR、Anthropicの「研究開発速度1.9倍」レポートを分析：実際の範囲が1.1〜2.9倍にとどまる理由

独立評価機関のMETRが公表した評価によると、Anthropicの社内モデルの能力向上ペースは従来の約1.9倍に達しており、主観的な推計ではその約80%がAI自身の貢献によるものとされている。しかし、この算出結果はリンク関数の仮定に大きく依存しており、タスクの難易度分布によって加速の倍率は1.1倍から2.9倍の間で変動する。評価は非公開の社内モデルを対象に能力指標をフィッティングしたものだが、ベンチマーク名をはじめとする多くのコアデータはAnthropicによって黒塗り（マスキング）されている。