arXiv 自然语言处理· Ilija Subasic, Brett Levert, Andrew Rabinovich, Sajjad Pakdamansavoji, Zhao Chen·· 10 小时前AI 评分48
LLM-as-a-Judge 中的 Prompt Lottery 现象：句法改写敏感性的测定与缓解
Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing
AI 导读
LLM-as-a-Judge 评估中存在“Prompt Lottery”现象，同义句式改写会导致模型裁判给出不同结果，甚至在部分场景反转模型的相对排名。针对 10 名人类标注者的测试显示，LLM 裁判在提示词改写下的一致性降幅达人类的 6-9x，已跌破可用性阈值。为此，采用多提示词聚合（multi-prompt aggregation）可显著提升评估鲁棒性。
来源：arXiv 自然语言处理 · arxiv.org