arXiv 机器学习· Anirudh Buvanesh, Khaled Rouissi, Sujin Yun, Johan Obando-Ceron, Morgane M Moss, Samuel Lavoie, Michael Noukhovitch, Laurent Charlin, Aaron Courville·· 10 時間前AI スコア47
论测试时计算用于自我评估的局限性
On the Limits of Test-Time Compute for Self-Evaluation
未翻訳のため中国語で表示しています。
AI ガイド
新研究针对测试时计算自我评估中增加候选无法持续缩小与 pass@N 差距的问题，提出对随机分组候选联合评分的 Scorpio 方法。在数学、代码等基准上，Scorpio 在验证任务中较最强基线最高提升 7 个百分点准确率，同时推理成本降低 17-42%。此外，该方法在树搜索与编程聚合任务中分别带来最高 10 和 11 个百分点的准确率提升。
出典：arXiv 机器学习 · arxiv.org