跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

201条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 201–201 条 · 共 201 条
8月12日周二
  1. SemiAnalysis · 算力产业72

    SemiAnalysis 深度解析 HBM 路线图与内存墙挑战

    SemiAnalysis 梳理了 HBM 在 AI 加速器中的演进路径、制造工艺与供应链格局。报告指出,随着长上下文推理与强化学习需求激增,系统受限于显存带宽与容量瓶颈,推动英伟达等厂商向单卡 1TB HBM4E 演进;同时 TSV 与先进封装良率成为关键约束,JEDEC 放宽 775 微米堆叠高度推迟了混合键合的落地,促使产业通过 KVCache 卸载等分层内存架构缓解瓶颈。

    推荐理由:报告系统梳理了从封装制造到模型推理各层级的 HBM 瓶颈与路线演进,适合读者理解 AI 硬件与模型协同扩展的物理制约。