vLLM 官方博客（网页）·· 4 小时前精选AI 评分74
Buoyant 开源推理控制平面 Kinference：面向 vLLM 与 Kubernetes
Introducing Kinference: An Open Source Inference Control Plane for vLLM and KubernetesNov 4, 2026·7 min readKinference is a new open source inference control plane for building scalable inference platforms with vLLM and Kubernetes, providing token rate limiting, tenant usage and cost tracking, intelligent load balancing, and inference policies.
AI 导读
Buoyant 开源了面向 vLLM 与 Kubernetes 的推理控制平面 Kinference，提供 token 速率限制、多租户用量与成本追踪、KV 缓存感知负载均衡及声明式推理策略。
推荐理由
该项目为基于 Kubernetes 与 vLLM 的大模型服务提供了感知 KV 缓存的调度与声明式策略，便于工程团队控制延迟与算力成本。
来源：vLLM 官方博客（网页） · vllm.ai