Chatbot Arena 中的卢斯公理失效分析：相似模型如何打破预测胜率

研究发现 Chatbot Arena 基于 Bradley-Terry 模型的排名违反卢斯选择公理，高度相似模型间的对决区分度远高于评分预测。在 180 万条 Arena 投票中，同模型不同版本的区分度达预测值的 1.37 倍，同代不同尺寸为 1.26 倍，同机构模型为 1.12 倍。引入 4 至 6 个参数的修正方案在保留集上的预测表现优于原模型，不过整体排行榜位次几乎不受影响。