跳到正文
原文
Buzzing HN · 中文精选· khalidkhair·· 3 小时前精选AI 评分74

Janas 开源:通过 NVMe SSD 流式加载 MoE 专家,32GB 内存设备可跑 80B 大模型

Janas:通过从SSD流式传输专家数据,运行规模超过内存的大规模语言模型

AI 导读

开源推理引擎 Janas-LLM 采用纯 C 语言编写,通过从 NVMe SSD 流式传输 MoE 专家权重并保留常用专家在内存中,实现在 32 GB 内存笔记本上运行 48.4 GB 的 Qwen3-Next-80B-A3B 模型。

推荐理由

该项目展示了利用 NVMe SSD 专家流式加载运行超显存 MoE 模型的机制,为普通硬件部署前沿大模型提供了低成本实现路径。

来源:Buzzing HN · 中文精选 · github.com