Hacker News · AI· enki_runtime·· 4 小时前精选AI 评分66
Enki LLM 开源发布：纯 Rust 推理引擎支持 GPU 与 CPU 实时热迁移
Show HN: Enki LLM A pure rust (even kernels) with live GPU/CPU brain migration
AI 导读
开源推理引擎 Enki LLM 正式发布，采用纯 Rust 实现且完全不依赖 CUDA，支持在文本生成过程中将执行状态与 KV cache 在 GPU 显存与 CPU 内存间实时动态热切换。
推荐理由
原文给出了纯 Rust 零 CUDA 依赖的推理实现与跨硅片动态热迁移方案，读者可以据此参考异构算力调度与极简推理引擎的设计思路。
来源：Hacker News · AI · github.com