跳到正文
原文
IT之家 · AI 筛选·· 1 小时前精选AI 评分82

DeepSeek 全面开源内部推理框架 DeepInfer

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,目标实现大模型普惠

AI 导读

DeepSeek 正式开源内部推理框架 DeepInfer 及生产级编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与优化推理引擎,支持分布式推理、推测解码、SWA Bounded Replay 和结构化输出,兼容英伟达与华为昇腾平台,官方已借此实现 DeepSeek V4.1 Flash 的高吞吐低延迟服务。

推荐理由

原文给出了框架的核心能力与硬件兼容性,读者可借此评估在大规模推理中降本增效的落地路径。

来源:IT之家 · AI 筛选 · ithome.com