热点事件持续更新
研究揭示大模型裁判提示词彩票现象并提出缓解方案
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
2026年10月30日，arXiv自然语言处理领域发表研究，揭示了“大模型作为裁判”（LLM-as-a-Judge）评估中存在的“提示词彩票”（Prompt Lottery）现象。研究指出，同义句式改写会导致模型裁判给出不同结果，甚至在部分场景中反转被评估模型的相对排名。针对10名人类标注者的对比测试显示，LLM裁判在提示词改写干扰下的一致性降幅达到人类的6至9倍，已跌破可用性阈值。为解决这一问题，研究提出采用多提示词聚合（multi-prompt aggregation）方法，可显著提升大模型评估的鲁棒性。
AI 根据报道生成 · 6 小时前更新
最新进展10月30日 12:00
研究指出提示词改写致LLM裁判一致性骤降甚至反转排名，提出多提示词聚合以提升鲁棒性。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv 自然语言处理LLM-as-a-Judge 中的 Prompt Lottery 现象：句法改写敏感性的测定与缓解
LLM-as-a-Judge 评估中存在“Prompt Lottery”现象，同义句式改写会导致模型裁判给出不同结果，甚至在部分场景反转模型的相对排名。针对 10 名人类标注者的测试显示，LLM 裁判在提示词改写下的一致性降幅达人类的 6-9x，已跌破可用性阈值。为此，采用多提示词聚合（multi-prompt aggregation）可显著提升评估鲁棒性。
本事件热度走势
当前热度 8·可比范围峰值 9（10月30日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。