arXiv 人工智能· Sven Kleinkop, Tam\'as Janusko, Ricardo Bochnia, Gunnar Hempel, Steffen Tomschke, J\"urgen Anke, Maik Thiele·· 7 hours agoAI score43
PromptOps：面向 LLM-as-a-Judge 系统的迭代提示词优化框架
PromptOps: Iterative Prompt Optimization for LLM-as-a-Judge Systems
Not yet translated; shown in Chinese.
AI guide
研究人员提出闭环框架 PromptOps，通过监控与迭代重新校准解决 LLM-as-a-Judge 系统的裁判漂移问题。该框架解耦了优化时机、流程选择、反馈记录与提示词更新四项决策，并集成了 GEPA、SIMBA 等 5 种优化方法。实验表明，迭代优化能在评分分布偏移后恢复裁判性能，但算法与更新时机的选择高度依赖具体场景。
Source:arXiv 人工智能 · arxiv.org