arXiv 人工智能· Rujun Han, Yufan Zhuang, Arijit Ray, Han Yu, Zoey CuiZhu, George Lee, Yifei Ming, Binz Roy, Varun Sakalkar, Vishy Tirumalashetty, Burak Gokturk, Tomas Pfister, Chen-Yu Lee·· 8 小时前AI 评分61
研究人员推出物理工程基准 PLE:最强智能体平均得分仅 50.6%
PLE: Physical-Engineering's Last Exam
AI 导读
研究团队推出面向专业物理工程的基准测试 PLE,包含电气、土木、结构和机械工程等领域的 85 个长周期智能体任务,要求输出可签署交付的真实工程成果。在 7 种开源智能体框架评测下,最强前沿 LLM 配置的平均得分仅为 50.6%,单任务平均耗费 27M tokens 与 63 分钟,显示出当前智能体与自主工程设计之间仍有显著差距。
来源:arXiv 人工智能 · arxiv.org