Baidu、ベースモデル「ERNIE 5.5 Flash Base」をオープンソース化

Baiduは、MoEベースモデル「ERNIE 5.5 Flash Base」を正式にオープンソース化した。総パラメータ数は2,800億、トークンあたりのアクティブパラメータ数は140億に達する。同モデルは33.5兆トークンで事前学習され、最大100万トークンの推論コンテキスト長に対応。知識、推論、コードなど複数のベンチマークにおいて同規模クラスでトップレベルの性能を達成している。アーキテクチャ面では、HCAとMLAを組み合わせた潜在ゲーテッド・スパース・アテンションを採用し、バックボーンの最終層を再利用して後続トークンを予測学習する設計となっており、モデルの重みはすでにHugging Faceで公開されている。