跳到正文
原文
Hacker News · AI· ishekofficial·· 2 小时前精选AI 评分75

BitRun 开源发布:跨平台 CPU 免编译运行 1-bit LLM 工具

Show HN: BitRun, 1-bit LLM runner on CPU (100T/s on Apple Silicon)

AI 导读

开发者 ishekofficial 开源了 BitRun,一款面向 macOS、Windows 和 Linux 的免编译 CPU 独立运行器与模型管理器,专门运行微软 BitNet b1.58 等 1.58-bit 三值大语言模型。

推荐理由

原文通过预编译分发降低了 1.58-bit 模型的 CPU 部署门槛,为轻量端侧推理提供了类似 Ollama 的极简工作流参考。

来源:Hacker News · AI · github.com