Hacker News · AI· enki_runtime·· 22 日前厳選AI スコア66
Enki LLM 开源纯 Rust 语言 LLM 推理引擎，支持 GPU 与 CPU 实时动态迁移
A pure Rust LLM engine (~2k LOC) with live GPU/CPU brain migration
未翻訳のため中国語で表示しています。
AI ガイド
Enki 开源了约 2,000 行纯 Rust 代码实现的 LLM 推理引擎 Enki LLM，具备零 CUDA 依赖并在生成过程中支持 GPU 与 CPU 间的无缝实时迁移。
推薦理由
展示了零 CUDA 依赖下纯 Rust 通过 Vulkan JIT 实现轻量 LLM 推理并在 GPU 与 CPU 间热迁移的工程路径。
出典：Hacker News · AI · github.com