研究揭示跨模型LLM裁判评测排名不稳定

1. 13:00
   arXiv 自然语言处理

   研究揭示更换 LLM 裁判模型会导致系统排名显著变动

   一项针对 LLM 裁判跨供应商复验的研究表明，更换裁判模型会导致大语言模型系统对比排名显著变动，裁判与人类裁决的一致性偏低（中位数 Cohen's kappa 仅为 0.22）。

Current heat 7·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.