Hacker News · AI· simonpure·· 2 小时前精选AI 评分62
ClassEve 开源纯 Rust 编写的 CPU 大模型推理引擎 RAI
Rai: CPU-only LLM inference engine in pure Rust
AI 导读
ClassEve 开源了纯 Rust 编写的纯 CPU 大语言模型推理引擎 RAI，支持通过手写 AVX2 内核直接运行 4-bit 量化模型，完全不依赖 GPU、CUDA、Python 运行时、PyTorch、GGML 或 BLAS。
推荐理由
原文给出了手写 AVX2 算子与脱离 Python 环境的纯 CPU 推理方案，读者可以据此评估轻量级终端硬件部署大模型的内存占用与吞吐表现。
来源：Hacker News · AI · github.com