Hugging Face·· 6 日前厳選AI スコア64
Ai2 发布科研新颖性评测基准，发现大模型裁判极不稳定
Can we trust LLMs to judge whether a research idea is novel?
未翻訳のため中国語で表示しています。
AI ガイド
Ai2 发布研究 Old Ideas, Novel Problems 及配套基准测试与代码，系统评估大模型对科研创意新颖性的判断能力。实验测试了 GPT-5.4、Claude Opus 4.6 等 6 款模型，发现仅微调提示词措辞就能使判断准确率出现超过 50 个百分点的剧烈波动，且对 AI 生成创意的判别远比人类论文脆弱。
推薦理由
研究揭示了大模型作为科研新颖性裁判时的脆弱性，提示词微调与检索成本的对比为自动化科研评估提供了实证参考。
出典：Hugging Face · huggingface.co