Hacker News · AI· fibo·· 2 小时前精选AI 评分76
Redis 作者推出本地大模型推理引擎 ds4
From the creator of Redis; run LLM locally with ds4
AI 导读
Redis 创作者开源了面向高显存 Mac、CUDA 及 ROCm 设备的本地推理引擎 ds4(DwarfStar 4),支持运行 DeepSeek V4/V4.1 Flash、GLM 5.x 和 Qwen3.8 Flash Next 等开源大模型。
推荐理由
ds4 为高内存设备运行前沿 MoE 模型提供了针对性量化与 SSD 缓存方案,便于读者在本地搭建兼容主流 API 的推理环境。
来源:Hacker News · AI · dwarfstar.sh