The Decoder· Manuel Uth·· 4 時間前厳選AI スコア67
SemiAnalysisが実業務ベンチマーク「GDPx」を発表、スコア12%を超えたAIエージェントは皆無
No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark
AI ガイド
リサーチ企業のSemiAnalysisは、現実のシミュレーション環境を対象としたAIエージェント向けベンチマーク「GDPx」を発表した。半導体設計やクオンツ取引など11分野・206件のタスクを網羅しているが、現時点でスコアが12%を超えたモデルは1つも存在しない。
推薦理由
テストではモデルを最長8時間に及ぶ複雑かつ専門的な環境下でのインタラクションに投入しており、本格的な実業務シナリオにおける最先端エージェントの達成率の低さを浮き彫りにした。
出典：The Decoder · the-decoder.com