研究团队提出 PromptOps 框架以应对 LLM 裁判漂移
Start here
2026年11月6日，研究团队在 arXiv 发表论文，提出了面向 LLM-as-a-Judge（大语言模型作为裁判）系统的闭环框架 PromptOps。该框架旨在通过持续监控与迭代重新校准，解决裁判系统出现的漂移问题。PromptOps 将优化时机、流程选择、反馈记录与提示词更新四项决策进行了解耦，并集成了 GEPA、SIMBA 等5种优化方法。实验结果表明，该迭代优化框架能在评分分布发生偏移后有效恢复裁判系统的性能，但具体的优化算法与更新时机选择仍高度依赖于实际应用场景。
AI-generated from reports · Updated 7 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能PromptOps：面向 LLM-as-a-Judge 系统的迭代提示词优化框架
研究人员提出闭环框架 PromptOps，通过监控与迭代重新校准解决 LLM-as-a-Judge 系统的裁判漂移问题。该框架解耦了优化时机、流程选择、反馈记录与提示词更新四项决策，并集成了 GEPA、SIMBA 等 5 种优化方法。实验表明，迭代优化能在评分分布偏移后恢复裁判性能，但算法与更新时机的选择高度依赖具体场景。
Story heat trend
Current heat 8·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.