vLLM 更新· cquil11·· 6 小时前AI 评分22
vLLM v0.31.1rc0 发布：按缓存层级暴露缓存提示词 token 指标
v0.31.1rc0: [Metrics] Expose cached prompt tokens by cache tier (#56318)
AI 导读
vLLM 发布 v0.31.1rc0 预发布版本，在指标（Metrics）中支持按缓存层级暴露已缓存的提示词 token 数量。该更新主要用于细化缓存层级的 token 监控数据。
来源：vLLM 更新 · github.com