斯坦福等机构提出ScholarCatalyst基准 评估科研Agent寻找启发性文献能力

斯坦福大学、CMU等多机构联合推出ScholarCatalyst基准，邀请184位顶会作者回溯207项研究，衡量科研Agent在研究初期发现催化论文的能力。评测显示最佳系统Qwen3-Embedding-8B的Top-20召回率仅约48%，多轮规划推理的GPT-4.1和o3等Agent并未胜过通用嵌入检索器。