Baidu（百度）、ベースモデル「ERNIE 5.5 Flash Base」をオープンソース公開

Baiduの「ERNIE（文心）」は、スパースMoE言語モデル「ERNIE-5.5-Flash-Base」をオープンソースとして公開した。総パラメータ数は280B、トークンあたりのアクティブパラメータ数は14Bで、33.5Tトークンを用いてゼロから事前学習が行われた。本重みはミッドトレーニングやポストトレーニングを経ていないもので、ファインチューニングおよび推論において1Mトークンのコンテキスト長に対応する。学習には分散MuonオプティマイザとFlashMask-4アテンションオペレータが採用されており、公式発表によると、今後はポストトレーニング済みの完全版もリリースされる予定だという。