arXiv 人工智能· Yuxuan Wang, Yishu Wang, Jiaqi Deng·· 5 hours agoAI score44
预测智能体回测基准 FABench 评测
Benchmarking Forecasting Agents on Yesterday's Tomorrows
Not yet translated; shown in Chinese.
AI guide
研究人员推出预测智能体回测基准 FABench,首发包含 9 个领域的 287 个问题,可针对任意历史预测日期自动构建测试以防时间泄露。评测 8 个近期模型发现,检索改善了全部模型的 Brier 分数,表现最佳的 3 个智能体在 54 个 Polymarket 关联问题上略高于市场共识水平。目前该项目已开源代码、数据及档案环境。
Source:arXiv 人工智能 · arxiv.org