Skip to content
arXiv 人工智能· Yuxuan Wang, Yishu Wang, Jiaqi Deng·· 5 hours agoAI score44

预测智能体回测基准 FABench 评测

Benchmarking Forecasting Agents on Yesterday's Tomorrows

Not yet translated; shown in Chinese.

AI guide

研究人员推出预测智能体回测基准 FABench,首发包含 9 个领域的 287 个问题,可针对任意历史预测日期自动构建测试以防时间泄露。评测 8 个近期模型发现,检索改善了全部模型的 Brier 分数,表现最佳的 3 个智能体在 54 个 Polymarket 关联问题上略高于市场共识水平。目前该项目已开源代码、数据及档案环境。

Source:arXiv 人工智能 · arxiv.org