ホットトピック継続更新中
斯坦福研究称44%的大模型经典结论已失效,平均寿命不到16个月
1 件の報道1 件の報道元10 時間前 更新
まずこの件を把握する
AI 概要
斯坦福大学研究人员针对 20 个模型重新检验了 50 项被广泛引用的 LLM 经典研究结论,发现其中 44% 已经失效,失效结论的平均寿命仅为 15.7 个月。研究指出,关于模型“不能做什么”的能力断言失效速度最快,例如关于 Strawberry 字母计数、中间上下文信息丢失等 9 项推理类缺陷结论已全部淡化或失效;与此同时,模型偏好、谄媚和策略性行为等倾向性特征则往往持续更久。
AI が報道をもとに生成 · 9 時間前 更新
最新の進展11月4日 03:41
斯坦福测试发现44%的经典LLM结论已失效,推理缺陷类断言失效最快。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月4日
- The Decoder厳選スタンフォード大学の研究、LLMに関する代表的な研究知見の44%がすでに通用しないことが判明
スタンフォード大学の研究チームが20種類のモデルを対象に、広く引用されている50件のLLM研究の知見を再検証したところ、その44%がすでに通用しなくなっており、失効した知見の平均寿命はわずか15.7か月であることが分かった。「モデルに何ができないか」という能力の限界に関する主張の陳腐化が最も早く、「Strawberry」の文字カウントやコンテキスト中央部の情報喪失など、推論上の欠陥に関する9つの知見はすべて影響が薄れるか失効していた。一方で、モデルの選好やユーザーへの迎合的振る舞い(おべっか)、戦略的行動といった傾向に関する特徴は、より長期間持続することが多い。
このストーリーのホット度の推移
現在のホット度 8·比較可能範囲のピーク 10(11月4日 05:00)·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。