vLLM 更新· cquil11·· 29 days agoAI score22
vLLM v0.31.1rc0 发布：按缓存层级暴露缓存提示词 token 指标
v0.31.1rc0: [Metrics] Expose cached prompt tokens by cache tier (#56318)
Not yet translated; shown in Chinese.
AI guide
vLLM 发布 v0.31.1rc0 预发布版本，在指标（Metrics）中支持按缓存层级暴露已缓存的提示词 token 数量。该更新主要用于细化缓存层级的 token 监控数据。
Source:vLLM 更新 · github.com