Ai2 发布科研新颖性评测基准，发现大模型裁判极不稳定

Ai2 发布研究 Old Ideas, Novel Problems 及配套基准测试与代码，系统评估大模型对科研创意新颖性的判断能力。实验测试了 GPT-5.4、Claude Opus 4.6 等 6 款模型，发现仅微调提示词措辞就能使判断准确率出现超过 50 个百分点的剧烈波动，且对 AI 生成创意的判别远比人类论文脆弱。