Hacker News · AI· peter_d_sherman·· 3 小时前精选AI 评分60
SGLang 高性能大语言模型与多模态模型推理服务框架
SGLang – High-performance serving framework for LLM's and multimodal models
AI 导读
SGLang 是由 LMSYS 开源的高性能推理服务框架，针对大语言模型、视觉语言模型和扩散模型在智能体工作流、大规模在线服务及强化学习 rollout 场景下进行了专门优化。
推荐理由
该框架整合了大模型与扩散模型的统一推理加速支持，为需要兼顾高吞吐服务与复杂智能体工作流的团队提供了异构硬件部署方案。
来源：Hacker News · AI · github.com