vLLM 官方博客（网页）·· 12 小时前AI 评分57
vLLM 联合 Speculators 与 LLM Compressor 加速 Laguna XS.2 推理
Accelerating Laguna XS.2 Inference with vLLM, Speculators, and LLM CompressorMay 28, 2026·3 min readHow Laguna XS.2 is served and optimized in vLLM using first-class model integration, a DFlash speculator trained with Speculators, and FP8, NVFP4, INT4, and INT8 checkpoints from LLM Compressor.
AI 导读
vLLM 联合 Red Hat AI 与 Poolside 推出了针对 33B-A3B MoE 编程模型 Laguna XS.2 的推理优化方案。方案结合基于 Speculators 训练的 5 层 0.6B DFlash 投机采样草稿模型，可实现单次前向预测 8 个 token 并带来 2-3x 的无损加速。
来源：vLLM 官方博客（网页） · vllm.ai