Buzzing HN · 中文精选· khalidkhair·2026-10-13 17:23· 21 日前厳選AI スコア74

Janas 开源：通过 NVMe SSD 流式加载 MoE 专家，32GB 内存设备可跑 80B 大模型

Janas：通过从SSD流式传输专家数据，运行规模超过内存的大规模语言模型

未翻訳のため中国語で表示しています。

AI ガイド

开源推理引擎 Janas-LLM 采用纯 C 语言编写，通过从 NVMe SSD 流式传输 MoE 专家权重并保留常用专家在内存中，实现在 32 GB 内存笔记本上运行 48.4 GB 的 Qwen3-Next-80B-A3B 模型。

推薦理由

该项目展示了利用 NVMe SSD 专家流式加载运行超显存 MoE 模型的机制，为普通硬件部署前沿大模型提供了低成本实现路径。