利用推测解码协同设计 AI 模型以加速 LLM 推理

NVIDIA 探讨如何利用推测解码（speculative decoding）在保持准确性的同时加速 LLM 推理。文章提出了在帕累托前沿上选择草稿长度（draft length）与草稿机制（draft mechanism）的 5 条指南，帮助在不牺牲精度的前提下权衡模型设计，优化吞吐量与交互性。