Linumが2Bのテキスト画像生成モデル「Pyramid-JiT」をオープンソース化、トレーニングコストは約2.1万ドル

Linumは、20億パラメータ（2B）のピクセル空間テキスト画像生成モデル「Pyramid-JiT」をオープンソース化し、Apache 2.0ライセンスで重みを公開した。全工程のトレーニングコストはわずか約2万1,038ドル。同モデルは従来のVAEを完全に排除し、32×32のトークン圧縮を採用してアテンションコンテキストウィンドウを4分の1に縮小したほか、マルチ解像度の中間リードアウトヘッドを組み合わせてネットワークの収束を加速させている。