NVIDIA探讨AI工厂协同设计：最大化HBM每字节价值

2026年11月6日，NVIDIA开发者博客发文提出，需在AI工厂中通过协同设计最大化高带宽内存（HBM）的利用价值。文章指出，HBM是最昂贵且竞争最激烈的存储层级，若字节消耗在冗余权重副本、空闲会话的KV cache或重复计算前缀上，均会削减用于生成token的资源。当前AI工厂的核心问题已转变为每个字节能交付多少有效工作，而非单纯关注GPU拥有多少显存容量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。