benchmark sourcesOfficial benchmark
τ³-Banking
This page's content is in Chinese.
Sierra / 专业办公 · 在统一工具环境中办理银行业务，检验规则理解、客户沟通与任务完成。
In AIDC热点Awaiting results
Evidence budget1.5%
Upstream data timeTo be verified
Last successful syncAwaiting comparable results
What it measures and how
只比较官方 standard 银行业务、v1.0.1、alltools 和 GPT-5.2 用户模拟器；采用 pass@1。不同工具、提示、模拟器、语音模式与自定义系统不混排。
How to use this evidence
正式计分；占工具与办公预算 2%，Mercor APEX 共用的两个环境合计调整为 4%。金融业务不代表已经覆盖法律、电商等全部行业。
Benchmark limits and data attribution
成绩属于固定银行任务系统，依赖模拟用户与工具协议；不是所有职业的通用正确率。
Data license:MIT · Sierra Research tau2-bench 官方仓库；保留来源署名。
成绩由 Sierra 发布，原始分数与 AIDC热点 共识分使用不同尺度，不能直接相加。