Skip to content
Hot storiesContinuously updated

研究人员推出并开源电商长程工具调用基准SLATE

1 reports1 reporting sourcesUpdated 9 hours ago

Start here

AI overview

2026年11月4日，研究人员推出大规模评测基准 SLATE，旨在测试大语言模型智能体在真实电商场景下的大工具集与长程 API 选择能力。该基准构建了涵盖约 1,000 个工具的电商库以及确定性模拟器。针对 3B 至 12B 参数开源模型的测试结果显示，当前模型在长程工具调用上挑战显著，表现最好的模型任务完成率仅为 5.0%。目前，SLATE 基准、模拟器及相关评测工具均已开源发布。

AI-generated from reports · Updated 9 hours ago

Latest developmentsNov 4 13:00
研究人员推出并开源电商长程 API 调用基准 SLATE，测试显示开源模型最高完成率仅 5.0%。

Report timeline

Follow the reports to see different sides of the story.

Nov 4
  1. arXiv 自然语言处理
    SLATE：针对电商工具使用长程 API 选择的大规模评测基准

    研究人员推出大规模评测基准 SLATE，测试 LLM 智能体在真实电商场景下的大工具集与长程 API 选择能力。该基准构建了涵盖约 1,000 个工具的电商库与确定性模拟器；对 3B 至 12B 参数开源模型的测试显示，表现最好的模型任务完成率仅 5.0%。目前 SLATE、模拟器及评测工具已开源发布。

Story heat trend

Current heat 8·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

02.557.510Nov4Nov4Nov4Nov4

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.