NVIDIA 协同设计在 AI 工厂最大化每字节价值的五种方式

NVIDIA 提出在 AI 工厂中通过协同设计最大化高带宽内存（HBM）的利用价值。作为最昂贵且竞争最激烈的存储层级，字节若消耗在冗余权重副本、空闲会话的 KV cache 或重复计算前缀上，都会削减用于生成 token 的资源。当前核心问题不再是 GPU 拥有多少显存，而是每个字节能交付多少有效工作。