百度开源文心5.5 Flash Base基座模型
まずこの件を把握する
2026年11月5日，百度文心大模型开源发布稀疏MoE语言模型文心5.5 Flash Base（ERNIE-5.5-Flash-Base）并开放模型权重。该模型总参数量为280B（2800亿），每token激活参数为14B（140亿），基于33.5万亿tokens从零完成预训练，微调与推理支持最高100万tokens上下文。在架构与训练上，模型采用结合HCA与MLA的潜在门控稀疏注意力，复用主干最后一层学习预测后续token，并结合了分布式Muon优化器与FlashMask-4注意力算子。目前该模型权重已上线Hugging Face，当前版本未经中训练与后训练，官方表示后续还将推出经过后训练的完整版本。
AI が報道をもとに生成 · 2 時間前 更新
報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
- AITNT · AI头条厳選Baidu、事前学習済み基底モデル「ERNIE 5.5 Flash Base」をオープンソース公開 総パラメータ数280B・アクティブ14B
11月5日、BaiduはスパースMoE基底モデル「ERNIE 5.5 Flash Base（文心5.5 Flash Base）」を正式リリースし、モデル重みを公開した。総パラメータ数は280B、1トークンあたりのアクティブパラメータ数は14Bとなっている。
- IT之家 · AI 筛选厳選Baidu（百度）、ベースモデル「ERNIE 5.5 Flash Base」をオープンソース公開
Baiduの「ERNIE（文心）」は、スパースMoE言語モデル「ERNIE-5.5-Flash-Base」をオープンソースとして公開した。総パラメータ数は280B、トークンあたりのアクティブパラメータ数は14Bで、33.5Tトークンを用いてゼロから事前学習が行われた。本重みはミッドトレーニングやポストトレーニングを経ていないもので、ファインチューニングおよび推論において1Mトークンのコンテキスト長に対応する。学習には分散MuonオプティマイザとFlashMask-4アテンションオペレータが採用されており、公式発表によると、今後はポストトレーニング済みの完全版もリリースされる予定だという。
- 量子位厳選Baidu、ベースモデル「ERNIE 5.5 Flash Base」をオープンソース化
Baiduは、MoEベースモデル「ERNIE 5.5 Flash Base」を正式にオープンソース化した。総パラメータ数は2,800億、トークンあたりのアクティブパラメータ数は140億に達する。同モデルは33.5兆トークンで事前学習され、最大100万トークンの推論コンテキスト長に対応。知識、推論、コードなど複数のベンチマークにおいて同規模クラスでトップレベルの性能を達成している。アーキテクチャ面では、HCAとMLAを組み合わせた潜在ゲーテッド・スパース・アテンションを採用し、バックボーンの最終層を再利用して後続トークンを予測学習する設計となっており、モデルの重みはすでにHugging Faceで公開されている。
このストーリーのホット度の推移
現在のホット度 27·比較可能範囲のピーク 28（11月5日 19:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。