Buzzing HN · 中文精选· pretext·· 2 時間前厳選AI スコア80
Baidu、基盤モデル「ERNIE 5.5 Flash Base」を発表
百度发布了ERNIE 5.5 Flash基础模型
AI ガイド
Baiduは、スパースMoEアーキテクチャを採用した基盤モデル「ERNIE-5.5-Flash-Base」を正式発表した。総パラメータ数は280B、トークンごとのアクティブパラメータ数は14Bで、33.5Tトークンを用いてゼロから事前学習された。
推薦理由
公開された資料では、ハイブリッド・スパース・アテンションやマルチルーティングMoEの完全なアーキテクチャ詳細と学習ベンチマークが開示されており、開発者がダウンストリーム学習のベースモデルとしての計算コストを評価しやすくなっている。
出典：Buzzing HN · 中文精选 · ernie.baidu.com