vLLM 开源大语言模型推理与服务库介绍

vLLM 是源自 UC Berkeley Sky Computing Lab 的开源大语言模型推理与服务库，拥有超过 2000 位社区贡献者。该框架采用 PagedAttention、连续批处理与前缀缓存技术，支持 FP8/INT4 等多种量化方案及 200 多种模型架构。系统提供兼容 OpenAI 与 Anthropic 的 API 服务，并广泛适配 NVIDIA、AMD 等多种硬件平台。