基于开源权重的无限制 CTI-REALM 基准评测

研究人员在网络威胁情报基准 CTI-REALM 上评估了 19 款开源权重模型与 7 款闭源模型，发现在放宽交互轮数限制后，开源权重模型能以不到闭源前沿模型十分之一的成本匹敌其表现，并取得最高奖励分。研究指出原基准的消息上限限制掩盖了模型真实能力，且领先模型间成本差异超一个数量级但价格无法直接体现能力。此外，不同模型在各工作流阶段表现各异，思考 token 占比也与最终奖励无关。