benchmark sourcesOfficial benchmark
Mercor APEX-Agents 1.1
This page's content is in Chinese.
Mercor / 专业办公 · 投行、咨询和法律里的长任务，看模型当助手能不能把一件完整的工作做完。
In AIDC热点Ranked
Evidence budget3%
Upstream data time09/08 08:00
Last successful sync11/03 02:05
What it measures and how
固定 1.1 数据集和官方 Loop 环境，采用 Pass@1 及其对应误差，按预先固定的推理档位选配置。Mean Score 是评分项平均完成度，不混作任务完成率。
How to use this evidence
固定 1.1 版官方 Loop 的 Pass@1，独占工具与办公预算中的 4%；另 2% 用于统一环境的银行业务任务。
Benchmark results
按固定规则，每个公开模型采用一套代表配置。匿名测试型号不展示，保留原榜名次，每项最多 30 个。
| Original board rank | Original board model | Raw result | Representative config |
|---|---|---|---|
| 1 | gemini-4-carbonGoogle | 84.2% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 2 | gemini-4-argonGoogle | 82.4% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 3 | claude-sonnet-5-5Anthropic | 75.5% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 4 | claude-opus-5-5Anthropic | 73.5% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 5 | deepseek-v4-1-flash-1017DeepSeek | 69.8% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 6 | kimi-k3.1-proMoonshot AI | 69.4% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 7 | claude-fable-5.1Anthropic | 68.6% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 8 | gpt-6-1-terraOpenAI | 68.3% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 9 | gemini-3.7-flashGoogle | 67.8% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 10 | muse-wonder-1-0-maxMeta | 66.1% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 11 | claude-opus-5Anthropic | 65.8% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 12 | grok-4-6-xhighxAI | 65.3% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 13 | gpt-6-astra-maxOpenAI | 64.7% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 14 | gemini-3.8-flashGoogle | 64.3% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 15 | claude-fable-5Anthropic | 63.6% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 16 | qwen-3-8-max-xhighAlibaba | 63.3% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 17 | gpt-6-1-solOpenAI | 60.0% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 20 | gpt-5.6-terra-maxOpenAI | 58.2% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 21 | mimo-v2.6-flash-rlXiaomi | 57.4% | 完整系统 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 22 | glm-5-3Z.ai | 56.6% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 23 | grok-4-5xAI | 56.2% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 24 | claude-haiku-5-5Anthropic | 56.1% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 25 | deepseek-v4-flashDeepSeek | 55.3% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 26 | gpt-5.5-xhighOpenAI | 55.1% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 27 | grok-4.7xAI | 54.6% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 28 | claude-sonnet-5-maxAnthropic | 54.5% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 29 | mimo-v2.6-proXiaomi | 54.4% | 完整系统 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 30 | gpt-6-solOpenAI | 54.3% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 31 | minimax-m3p1-flashMiniMax | 53.9% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 32 | glm-5-3-flashZ.ai | 52.8% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
Benchmark limits and data attribution
限投行、咨询、法律任务；原页未提供逐型号评测日期，少量运行缺失的原因尚未公开。不能将此分数解释为所有办公工作的可靠性。
Data license:官方公开结果；数据与代码许可不等于榜单再分发授权
成绩由 Mercor 发布，原始分数与 AIDC热点 共识分使用不同尺度，不能直接相加。