vLLM 官方文档

vLLM 是一款开源的大语言模型推理与服务库，由 UC Berkeley Sky Computing Lab 发起并由超 2000 名贡献者共同维护。该框架通过 PagedAttention、连续批处理、多样化量化与投机解码实现高吞吐量服务，并支持张量及流水线等分布式并行推理。