Hacker News · AI· enki_runtime·· 21 days agoSelectedAI score66
Enki LLM 开源纯 Rust 语言 LLM 推理引擎，支持 GPU 与 CPU 实时动态迁移
A pure Rust LLM engine (~2k LOC) with live GPU/CPU brain migration
Not yet translated; shown in Chinese.
AI guide
Enki 开源了约 2,000 行纯 Rust 代码实现的 LLM 推理引擎 Enki LLM，具备零 CUDA 依赖并在生成过程中支持 GPU 与 CPU 间的无缝实时迁移。
Why it matters
展示了零 CUDA 依赖下纯 Rust 通过 Vulkan JIT 实现轻量 LLM 推理并在 GPU 与 CPU 间热迁移的工程路径。
Source:Hacker News · AI · github.com