本文へスキップ
原文
Hacker News · AI· utsav1033·· 11 時間前厳選AI スコア71

わずか3KB、C言語で書かれた極小LLM推論エンジン「bytesized」がオープンソース化

Show HN: A 3KB LLM inference engine in C

AI ガイド

バイナリサイズがわずか3,156バイトという、C言語で記述された極小のLLM推論エンジン「bytesized」がオープンソースで公開された。フォーマット変換を行うことなく、SmolLM2-135Mのオリジナルのsafetensors重みを直接読み込んで実行できる。

推薦理由

同プロジェクトは、システムライブラリの排除や単一セグメントリンク、自己解凍圧縮などを駆使し、LLM推論コードを極限までシンプル化するエンジニアリングのアプローチを示している。

出典:Hacker News · AI · github.com