统计分析显示大模型存在基准过拟合与刷榜现象

2026年10月，一项针对大语言模型刷榜行为的统计分析引发关注。该研究基于模型发布时间差检验基准过拟合现象，结果显示，Google 等厂商的模型在发布前已公开的基准上得分偏高，但在模型发布后才推出的新基准上表现有所回落。研究基于 Epoch Capabilities Index 引入刷榜系数，测算出 Google 模型的基准溢出效应约为 1.41 个 ECI 点；若剔除该溢出效应，相关模型在基准榜单上的得分将下降约 3 到 5 个百分点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。