件の評価ソース公式評価
τ³-Banking
このページの内容は中国語です。
Sierra / 专业办公 · 在统一工具环境中办理银行业务,检验规则理解、客户沟通与任务完成。
AIDC热点 内成績待ち
根拠の予算1.5%
上流データ時刻確認中
直近の同期成功比較可能な成績を待機中
何をどう測るか
只比较官方 standard 银行业务、v1.0.1、alltools 和 GPT-5.2 用户模拟器;采用 pass@1。不同工具、提示、模拟器、语音模式与自定义系统不混排。
この根拠の使い方
正式计分;占工具与办公预算 2%,Mercor APEX 共用的两个环境合计调整为 4%。金融业务不代表已经覆盖法律、电商等全部行业。
評価の制約とデータの帰属
成绩属于固定银行任务系统,依赖模拟用户与工具协议;不是所有职业的通用正确率。
データライセンス:MIT · Sierra Research tau2-bench 官方仓库;保留来源署名。
成绩由 Sierra 发布,原始分数与 AIDC热点 共识分使用不同尺度,不能直接相加。