vLLM 官方博客（网页）·· 3 小时前精选AI 评分67
vLLM 实现对 Flint 模型的 Day-0 支持，单卡解码吞吐达 500 tokens/s
Day-0 Support for Flint on vLLMOct 21, 2026·5 min readvLLM supports both Flint checkpoints (40B total, 2.5B active) from day 0, decoding a single request at about 500 tokens/s on one GPU.
AI 导读
vLLM 宣布对 Recursive 推出的 Flint 模型提供 Day-0 支持，单张 GB200 在 100K 上下文下的单请求解码速度可达约 500 tokens/s。
推荐理由
原文拆解了面向稀疏 MoE 架构的算子融合与低延迟调度优化，为长上下文下的单卡推理加速提供了具体实现参考。
来源：vLLM 官方博客（网页） · vllm.ai