跳到正文
原文
arXiv 自然语言处理· Elias Lumer, Sahil Sen, Vamse Kumar Subbiah, Kevin Paul·· 6 小时前AI 评分45

深度研究 AI 智能体的反思性提示词优化:评估可迁移增益与提示词过拟合的跨主题多随机种子协议

Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting

AI 导读

研究人员提出针对深度研究 AI 智能体的跨主题、多随机种子反思性提示词优化(GEPA)评估协议。在训练、验证与测试主题完全隔离的测试集上,引用奖励从 0.702 提升至 0.781,平均提升 0.107。实验表明细分维度的反馈是实现可迁移增益的核心因素,若压缩为单一标量奖励则会导致测试集迁移表现为负。

来源:arXiv 自然语言处理 · arxiv.org