基准饱和后如何评估模型能力

研究人员提出利用模型解题过程的完整记录，在基准测试分数饱和后继续评估模型能力。通过回顾性模拟测试，仅使用饱和基准中正确解答的记录即可预测模型在未饱和测试项上的表现；其中成对评判表现最佳，相较仅使用饱和分数的基准线将预测误差降低了 5.3 倍。相关能力信号主要集中在推理与工具调用等通道，但跨分布泛化时存在低估新型推理模型的局限。