Buzzing HN · 中文精选· khalidkhair·· 3 小时前精选AI 评分74
Janas 开源:通过 NVMe SSD 流式加载 MoE 专家,32GB 内存设备可跑 80B 大模型
Janas:通过从SSD流式传输专家数据,运行规模超过内存的大规模语言模型
AI 导读
开源推理引擎 Janas-LLM 采用纯 C 语言编写,通过从 NVMe SSD 流式传输 MoE 专家权重并保留常用专家在内存中,实现在 32 GB 内存笔记本上运行 48.4 GB 的 Qwen3-Next-80B-A3B 模型。
推荐理由
该项目展示了利用 NVMe SSD 专家流式加载运行超显存 MoE 模型的机制,为普通硬件部署前沿大模型提供了低成本实现路径。
来源:Buzzing HN · 中文精选 · github.com