跳到正文
原文
arXiv 自然语言处理· Sangdo Han, Moonsoo Kim·· 8 小时前AI 评分54

研究揭示提示词优化器是否会破坏未被评分的生成要求

Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study

AI 导读

一项预注册研究评估了 GEPA、MIPROv2 与 TextGrad 三种提示词优化器在提升目标指标时对未评分硬性要求的影响。实验显示优化器虽提高了精确匹配率,但因诱发前置推理,在 200 token 限制下导致 13.9% 至 47.0% 的输出在生成目标 JSON 答案前截断。将输出上限放宽至 1,024 token 后提取失败随之消失,表明格式破坏主要源于长度限制而非内容本身的退化。

来源:arXiv 自然语言处理 · arxiv.org