vLLM 官方博客（网页）·· 4 時間前厳選AI スコア74
Buoyant、vLLMおよびKubernetes向けの推論コントロールプレーン「Kinference」をオープンソース化
Introducing Kinference: An Open Source Inference Control Plane for vLLM and KubernetesNov 4, 2026·7 min readKinference is a new open source inference control plane for building scalable inference platforms with vLLM and Kubernetes, providing token rate limiting, tenant usage and cost tracking, intelligent load balancing, and inference policies.
AI ガイド
Buoyantは、vLLMおよびKubernetes向けの推論コントロールプレーン「Kinference」をオープンソースとして公開した。トークンレート制限、マルチテナント環境での利用量・コスト追跡、KVキャッシュを考慮したロードバランシング、宣言型推論ポリシーなどを提供する。
推薦理由
同プロジェクトは、KubernetesとvLLMに基づく大規模モデルサービング向けにKVキャッシュ対応のスケジューリングと宣言型ポリシーを提供し、エンジニアリングチームがレイテンシや計算リソースコストを容易に抑制・管理できるようにする。
出典：vLLM 官方博客（网页） · vllm.ai