斯坦福研究发现 44% 的大语言模型经典研究结论已失效

斯坦福大学研究人员针对 20 个模型重新检验了 50 项被广泛引用的 LLM 研究结论，发现其中 44% 已经失效，失效结论的平均寿命仅为 15.7 个月。关于模型不能做什么的能力断言失效最快，关于 Strawberry 字母计数、中间上下文信息丢失等 9 项推理类缺陷结论全部淡化或失效，但模型偏好、谄媚和策略性行为等倾向性特征往往持续更久。