跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

283条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 281–283 条 · 共 283 条
11月4日周二
  1. Sebastian Raschka67

    超越标准 LLM:盘点混合注意力、文本扩散与递归等新兴模型架构

    文章盘点了超越传统自回归 Transformer 的四类新兴模型架构及其实践权衡。线性注意力混合架构(如 Qwen3-Next 与 Kimi Linear 的 Gated DeltaNet)通过结合全局注意力与线性层大幅缩减 KV cache 并支持超长上下文。

    推荐理由:系统梳理了线性注意力混合、文本扩散及代码世界模型等非传统架构,为评估长文本效率与并行生成提供了清晰的权衡参照。

9月11日周四
  1. SemiAnalysis · 算力产业85

    SemiAnalysis 深度剖析 NVIDIA Rubin CPX 加速器与机柜架构:专用硬件重塑解耦推理

    NVIDIA 推出专为大模型推理 Prefill 阶段设计的 Rubin CPX 加速器及配套机柜架构,通过强化算力并降低显存带宽成本重塑解耦推理服务。

    推荐理由:文章深入剖析了面向 Prefill 阶段的专用硬件架构与机柜设计,为评估大模型解耦推理与算力 TCO 提供了清晰的参考视角。

8月12日周二
  1. SemiAnalysis · 算力产业72

    SemiAnalysis 深度解析 HBM 路线图与内存墙挑战

    SemiAnalysis 梳理了 HBM 在 AI 加速器中的演进路径、制造工艺与供应链格局。报告指出,随着长上下文推理与强化学习需求激增,系统受限于显存带宽与容量瓶颈,推动英伟达等厂商向单卡 1TB HBM4E 演进;同时 TSV 与先进封装良率成为关键约束,JEDEC 放宽 775 微米堆叠高度推迟了混合键合的落地,促使产业通过 KVCache 卸载等分层内存架构缓解瓶颈。

    推荐理由:报告系统梳理了从封装制造到模型推理各层级的 HBM 瓶颈与路线演进,适合读者理解 AI 硬件与模型协同扩展的物理制约。