arXiv 人工智能· Wanyi Chen, Wanqin Shen, Yuanchen Shi, Zhensu Sun, Fang Kong·· 6 小时前AI 评分33
HSPR：通过分层后验推断恢复软件智能体评测分数
HSPR: Recovering Software-Agent Benchmark Scores via Hierarchical Posterior Inference
AI 导读
研究人员提出分层分数后验恢复方法 HSPR，利用历史响应因子与不确定分组成功率，通过后验引导的主动任务采样估算软件智能体的全量基准分数。在 SWE-bench 家族的 4 个任务库中以 10% 任务预算进行测试，HSPR 在其中 3 个库取得了对比方法中最低的平均绝对误差（MAE），并在全部 4 个库取得了最低的最大绝对误差（MaxErr）。
来源：arXiv 人工智能 · arxiv.org