arXiv 自然语言处理· Rongzhe Wei, Ge Shi, Min Cheng, Sarthak Ghosh, Vaibhav Gorde, Leman Akoglu, Pan Li, Na Zhang·· 17 時間前AI スコア41
SLATE：针对电商工具使用长程 API 选择的大规模评测基准
SLATE: A Large-Scale Benchmark for Long-Horizon API Selection in E-commerce Tool Use
未翻訳のため中国語で表示しています。
AI ガイド
研究人员推出大规模评测基准 SLATE，测试 LLM 智能体在真实电商场景下的大工具集与长程 API 选择能力。该基准构建了涵盖约 1,000 个工具的电商库与确定性模拟器；对 3B 至 12B 参数开源模型的测试显示，表现最好的模型任务完成率仅 5.0%。目前 SLATE、模拟器及评测工具已开源发布。
出典：arXiv 自然语言处理 · arxiv.org