IT之家 · AI 筛选·· 3 小时前精选AI 评分76
开发者开源 Strata 推理引擎，支持 12GB 显存显卡运行 125B Qwen3.8 模型
12GB 显存显卡跑 125B Qwen3.8 模型：Strata 登场，单张 RTX 5070 跑出 94 词元 / 秒
AI 导读
开发者 Niko1221 开源推理引擎 Strata，支持在 12GB 及以上显存的消费级显卡上运行量化版 125B 参数 Qwen3.8-Flash-Next 模型。
推荐理由
原文给出了内存显存分级加载与投机解码的实测速度，读者可以据此评估在消费级显卡上本地部署大参数量 MoE 模型的硬件门槛与吞吐表现。
来源：IT之家 · AI 筛选 · ithome.com