本文へスキップ
原文
AITNT · AI头条(网页)·· 2 時間前厳選AI スコア78

Baidu、事前学習済み基底モデル「ERNIE 5.5 Flash Base」をオープンソース公開 総パラメータ数280B・アクティブ14B

刚刚,百度开源全新预训练基模,还是主打效率的Flash

AI ガイド

11月5日、BaiduはスパースMoE基底モデル「ERNIE 5.5 Flash Base(文心5.5 Flash Base)」を正式リリースし、モデル重みを公開した。総パラメータ数は280B、1トークンあたりのアクティブパラメータ数は14Bとなっている。

推薦理由

元資料では、ハイブリッド・スパースアテンション、マルチルーターMoE、将来予測を組み込んだアーキテクチャ設計が開示されており、長文コンテキスト・低VRAM環境での推論や追加の事前学習に向けた具体的なエンジニアリングの参考情報となる。

出典:AITNT · AI头条(网页) · aitntnews.com