斯坦福与CMU等推出科研Agent评测基准ScholarCatalyst
Start here
2026年11月，斯坦福大学、CMU等多机构联合推出评测基准ScholarCatalyst，旨在衡量科研Agent在研究初期发现催化性、启发性论文的能力。该基准邀请了184位顶会作者回溯207项研究。评测结果显示，当前表现最佳的系统Qwen3-Embedding-8B的Top-20召回率仅约48%；同时，具备多轮规划推理能力的GPT-4.1和o3等Agent，在此项任务中并未胜过通用嵌入检索器。
AI-generated from reports · Updated 20 hours ago
Report timeline
Follow the reports to see different sides of the story.
- AITNT · AI头条斯坦福等机构提出ScholarCatalyst基准 评估科研Agent寻找启发性文献能力
斯坦福大学、CMU等多机构联合推出ScholarCatalyst基准，邀请184位顶会作者回溯207项研究，衡量科研Agent在研究初期发现催化论文的能力。评测显示最佳系统Qwen3-Embedding-8B的Top-20召回率仅约48%，多轮规划推理的GPT-4.1和o3等Agent并未胜过通用嵌入检索器。
Story heat trend
Current heat 6·Comparable peak 10（Nov 2 16:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.