vLLM 更新· cquil11·· 29 日前AI スコア22
vLLM v0.31.1rc0 发布：按缓存层级暴露缓存提示词 token 指标
v0.31.1rc0: [Metrics] Expose cached prompt tokens by cache tier (#56318)
未翻訳のため中国語で表示しています。
AI ガイド
vLLM 发布 v0.31.1rc0 预发布版本，在指标（Metrics）中支持按缓存层级暴露已缓存的提示词 token 数量。该更新主要用于细化缓存层级的 token 监控数据。
出典：vLLM 更新 · github.com