研究提出Scorpio方法优化测试时计算自评估
Start here
2026年11月，一项新研究针对测试时计算自我评估中增加候选无法持续缩小与 pass@N 差距的问题，提出了对随机分组候选进行联合评分的 Scorpio 方法。在数学、代码等基准测试中，Scorpio 在验证任务中较最强基线最高提升了 7 个百分点的准确率，同时使推理成本降低了 17% 至 42%。此外，该方法在树搜索与编程聚合任务中，分别带来了最高 10 个和 11 个百分点的准确率提升。
AI-generated from reports · Updated 1 day ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 机器学习论测试时计算用于自我评估的局限性
新研究针对测试时计算自我评估中增加候选无法持续缩小与 pass@N 差距的问题，提出对随机分组候选联合评分的 Scorpio 方法。在数学、代码等基准上，Scorpio 在验证任务中较最强基线最高提升 7 个百分点准确率，同时推理成本降低 17-42%。此外，该方法在树搜索与编程聚合任务中分别带来最高 10 和 11 个百分点的准确率提升。
Story heat trend
Current heat 5·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.