arXiv 自然语言处理· Soroush Ebadian, Parand A. Alamdari, Joe Benton, Hailey Joren·· 10 小时前AI 评分48
Tampered ML：评估 LLM 对机器学习研究的评判能力
Tampered ML: Evaluating LLM Judgment of Machine Learning Research
AI 导读
研究人员推出评测基准 Tampered ML，包含 1,858 个实验提案对比对，用于评估 LLM 识别机器学习研究方法缺陷的能力。评测显示前沿模型虽高于随机水平但仍不可靠，其中 Opus 5 准确率为 77.9%。此外，模型对展示顺序高度敏感，且倾向于偏好表面看起来更具体、透明或传统的有缺陷设计。
来源：arXiv 自然语言处理 · arxiv.org