Hacker News · AI· utsav1033·· 11 時間前厳選AI スコア71
わずか3KB、C言語で書かれた極小LLM推論エンジン「bytesized」がオープンソース化
Show HN: A 3KB LLM inference engine in C
AI ガイド
バイナリサイズがわずか3,156バイトという、C言語で記述された極小のLLM推論エンジン「bytesized」がオープンソースで公開された。フォーマット変換を行うことなく、SmolLM2-135Mのオリジナルのsafetensors重みを直接読み込んで実行できる。
推薦理由
同プロジェクトは、システムライブラリの排除や単一セグメントリンク、自己解凍圧縮などを駆使し、LLM推論コードを極限までシンプル化するエンジニアリングのアプローチを示している。
出典:Hacker News · AI · github.com