NVIDIA Developer Blog· Tanya Lenz·· 21 天前AI 评分55
何时使用编码-预填充-解码解耦（EPD）加速多模态模型服务
When to Use Encode-Prefill-Decode Disaggregation to Accelerate Multimodal Model Serving
AI 导读
编码-预填充-解码（EPD）解耦是一种多模态模型推理优化技术，将视觉编码器阶段与预填充和解码阶段分离。该技术在图像密集型提示词、中短长度输出以及量化 MoE 模型场景中最为有效。文章介绍了结合 NVIDIA Dynamo 使用 EPD 解耦的具体时机与方法，最高可实现 5 倍加速。
来源：NVIDIA Developer Blog · developer.nvidia.com