如何通过决策树选择 LLM 推理优化技术

该指南提出了一套通过六步决策树匹配 LLM 推理优化技术的方法，帮助工程师根据硬件、模型大小和流量特征精准定位瓶颈。文章详细对比了模型压缩（量化与蒸馏）、Prefix Caching、连续批处理、PagedAttention、推测解码以及 Prefill 与 Decode 解耦等技术的适用假设与权衡，并给出了缓存命中率归零、推测解码反常变慢等常见落地方案失效时的具体排查方案。