arXiv 自然语言处理· Peisong Wang, Feixue Liu, Yize Meng, Bowen Liu, Ruoyu Chen, Gaoyang Dai, Xing He, Aiqian Li, Fengchi Yuan, Aochuan Chen, Chenyi Zi, Yuhan Li, Hongchuan Zeng, Yimo Yan, Nuo Chen, Jie Fu, Zuo-Jun Max Shen, Yong-Hong KUO, Jia Li·· 6 小时前AI 评分44
OR-License：评估 LLM Agent 担任真实运筹学从业者的能力
OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
AI 导读
研究团队推出运筹学评测基准 OR-License 及模拟器 ORSim，包含 10 个工业场景的 31 个真实商业实例，评估 LLM Agent 交付专家级运筹学方案的能力。在 11 个前沿大语言模型评测中，最强的 Claude Code 配置实现 88.39% 的严格可行性与 0.87 的 DAQ，但均未匹敌专家的 1 分基准，各模型研究链完成率仅为 24% 至 45%。
来源：arXiv 自然语言处理 · arxiv.org