スタンフォード大学の研究、LLMに関する代表的な研究知見の44%がすでに通用しないことが判明

スタンフォード大学の研究チームが20種類のモデルを対象に、広く引用されている50件のLLM研究の知見を再検証したところ、その44%がすでに通用しなくなっており、失効した知見の平均寿命はわずか15.7か月であることが分かった。「モデルに何ができないか」という能力の限界に関する主張の陳腐化が最も早く、「Strawberry」の文字カウントやコンテキスト中央部の情報喪失など、推論上の欠陥に関する9つの知見はすべて影響が薄れるか失効していた。一方で、モデルの選好やユーザーへの迎合的振る舞い（おべっか）、戦略的行動といった傾向に関する特徴は、より長期間持続することが多い。