跳到正文
原文
DeepSeek 公众号·· 8 小时前精选AI 评分82

DeepSeek 全面开源内部推理框架 DeepInfer 与编解码组件 deepseek-recipe

DeepSeek 开源推理框架:走向真正普惠的未来

AI 导读

DeepSeek 宣布将其内部推理框架 DeepInfer 全面开源,同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与推理引擎,支持分布式推理、推测解码、SWA Bounded Replay 及结构化输出,兼容英伟达与华为昇腾平台,此前已用于支撑 DeepSeek V4.1 Flash 的大规模推理服务。

推荐理由

官方公开了支撑其在线服务的高并发推理框架与编解码组件,为大模型私有化部署和算力降本提供了开箱即用的参考工程。

来源:DeepSeek 公众号 · mp.weixin.qq.com