跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

168条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 141–160 条 · 共 168 条
8月10日周一
  1. The Next Platform63

    AI 网络向三维扩展推动 Arista 季度营收突破 30 亿美元

    Arista Networks 在 2026 年第二季度营收同比增长 37.7% 至 30.4 亿美元,单季销售额首次突破 30 亿美元,并将 2026 全年营收指引上调至 126 亿美元。

    推荐理由:原文梳理了网络设备商在跨数据中心、跨节点与芯片级三类 AI 网络中的营收分布和演进路径,便于读者理解智算网络市场格局。

8月8日周六
  1. The Next Platform73

    AMD 收购 AI 推理芯片初创公司 Taalas,推进模型专用架构与 GPU 融合

    AMD 本周以未披露金额收购 AI 推理初创公司 Taalas,计划将其技术整合进加速器路线图并与 AMD Instinct GPU 打造系统级方案。Taalas 的核心架构是将模型权重硬编码进 ROM 电路并搭配大容量 SRAM 作为片上 KV cache,针对 Decode 阶段提供极低延迟与更高能效。

    推荐理由:文章拆解了解耦推理架构下 GPU 负责 Prefill 与专用芯片负责 Decode 的性能差异,帮助理解大厂布局硬件收购的技术动因。

8月7日周五
8月5日周三
  1. AWS HPC63

    AWS 推出 Smart Job Navigator 方案:在 EC2 Spot 实例上运行紧耦合 HPC 与 ML 负载

    AWS 团队开源了 Smart Job Navigator 解决方案,用于在 EC2 Spot 实例上稳定运行紧耦合 HPC 仿真及机器学习训练任务。该方案基于 Slurm 调度器与 AWS Spot Placement Score API,能自动捕获 Spot 中断并跨多可用区队列智能重新提交检查点作业。

    推荐理由:该方案通过检查点与智能队列调度在 Spot 实例上恢复紧耦合作业,读者可参考其架构降低大规模算力训练与仿真成本。

7月29日周三
  1. The Next Platform78

    AMD 公布机架级 AI 系统路线图:涵盖 Zen 6 处理器、MI400 系列 GPU 与 Helios 整机柜方案

    AMD 展示了其面向 AI 基础设施的软硬件演进路线图,涵盖台积电 2nm 工艺的 Zen 6 Venice 处理器、搭载 432GB HBM4 的 Instinct MI455X GPU 以及双宽 Helios 机架级系统。

    推荐理由:文章拆解了从 Zen 6 处理器到 MI400 系列 GPU 及机架系统的规划,有助于评估其在智算基建领域的架构演进。

7月27日周一
  1. 月之暗面 Kimi 公众号90

    月之暗面发布 Kimi K3 模型权重与技术报告并开源三项训练 Infra 技术

    月之暗面正式发布 Kimi K3 模型权重及技术报告,并同步开源支撑其训练的关键基础设施 MoonEP、FlashKDA 和 AgentEnv。Kimi K3 为拥有 2.8 万亿参数的 MoE 模型,支持原生视觉理解与 100 万 token 上下文窗口,每 token 从 896 个专家中激活 16 个。

    推荐理由:月之暗面不仅开放了长上下文与原生视觉模型权重,还配套开源了专家并行通信库与算子等训练基建。

7月23日周四
7月21日周二
7月17日周五
  1. 通义实验室 公众号79

    通义实验室发布实时多模态交互模型 Wan-Streamer v0.2

    通义实验室发布实时双工全模态交互模型 Wan-Streamer v0.2,端到端响应延迟约 550ms,输出视频分辨率提升至 640×368 @ 25FPS。模型将传统流水线重构为基于 160ms 流式单元的原生因果流,并采用单卡 Thinker 与多卡 Performer 双通路硬件解耦与 Ulysses 序列并行机制,实现低延迟感知与重载视频生成的时序重叠。

    推荐理由:原文给出了双通路硬件解耦与时序重叠调度方案,展示了在大幅提升视频分辨率时维持超低交互延迟的具体工程路径。

7月15日周三
  1. MIT News · AI67

    MIT 举办 JARVIS 挑战赛:测试 AI 副驾驶辅助制造喷气发动机的工程能力

    MIT 航空航天系举办 JARVIS 挑战赛,组织 31 名本科生在 4 周内借助生成式 AI 探索设计、制造与测试推力 50–100 磅的小型喷气发动机。各团队通过 MIT Parley 平台调用前沿大语言模型加速了文献查阅、软件学习和架构比选,但模型幻觉、缺乏物理直觉以及供应链制造延迟成为主要制约。

    推荐理由:实测记录了学生借助大模型设计喷气发动机的过程,揭示了 AI 辅助复杂硬件工程时的提效空间与物理制造瓶颈。

7月10日周五
  1. Hugging Face66

    PyTorch 性能分析教程第三篇:解读各种 Attention 实现的 Profiler 轨迹与优化细节

    Hugging Face 发布 PyTorch 性能分析系列第三篇,对比分析了手写原生注意力机制、In-place 掩码以及 SDPA 旗下四种后端(math、efficient、flash、cuDNN)在 GPU 上的算子特征与执行开销。

    推荐理由:文章拆解了 PyTorch 中不同 Attention 后端的底层算子行为与显存交互,展示了如何通过性能分析轨迹定位非预期开销。

7月8日周三
7月7日周二
  1. Hugging Face70

    Hugging Face 携手微软在 Foundry Managed Compute 上线开源模型托管服务

    Hugging Face 与微软合作在 Microsoft Foundry 中推出 Hugging Face Collection,支持在托管 GPU 平台 Foundry Managed Compute 上一键部署开源权重模型。

    推荐理由:原文给出了预置权重、多引擎托管与统一安全治理的落地架构,读者可以据此评估企业私有化部署开源模型与智能体集成的工程链路。

  2. Hugging Face75

    SkyPilot 支持 Hugging Face 存储后端:免出站流量费跨云调度 AI 任务

    SkyPilot 与 Hugging Face 联合支持将 Hugging Face Storage 作为一级存储后端,允许通过统一的 hf:// 路径将 Hub 仓库或 Buckets 挂载至跨 20 多个云厂商、Kubernetes 及本地集群的计算任务中。

    推荐理由:原文解析了跨云调度 AI 任务时消除出站流量成本的集成方案,读者可据此优化多云算力下的模型挂载与数据同步链路。

7月6日周一
  1. Hugging Face70

    Hugging Face Kernels 迎来重大更新:上线内核仓库类型并支持智能体内核开发

    Hugging Face 宣布对 🤗 Kernels 项目进行全面重构与更新,在 Hub 上正式推出了全新的 kernel 仓库类型。新版本引入了受信任发布者机制与基于 Sigstore cosign 的临时私钥代码签名,并将加载工具 kernels 与构建工具 kernel-builder 的 CLI 彻底解耦。

    推荐理由:通过统一内核仓库类型并结合代码签名与受信任发布机制,为底层算力优化与智能体生成内核提供了标准化的安全分发底座。

6月27日周六
6月25日周四
  1. Kubernetes Blog61

    Kubernetes 设备管理工作组专访:DRA 如何重塑 AI 算力与硬件调度

    Kubernetes 官方博客专访设备管理工作组三位联合主席,详解动态资源分配(DRA)毕业至 GA 后的架构演进与 AI 硬件调度实践。DRA 通过 ResourceSlice 与 ResourceClaim 声明式 API 替代了传统设备插件的粗粒度整数分配,支持 GPU 拓扑感知、MIG 切分及平台介导的动态容量共享。

    推荐理由:工作组核心成员深入剖析了 DRA 如何替代传统设备插件,为 AI 负载提供细粒度拓扑感知与动态共享调度能力。

6月22日周一
  1. The Next Platform68

    HPE 借智能体 AI 浪潮推动企业推理算力回迁本地数据中心

    HPE 将自身支持平台迁移至基于 GreenLake Intelligence 与 Private Cloud AI 的本地基础设施,将运行成本降低 30 倍以上并月省近 10 万美元。

    推荐理由:原文通过实际成本数据揭示了智能体高频交互带来的开销问题,为评估生产级 AI 推理回迁本地数据中心提供了经济性依据。

6月11日周四
  1. 通义实验室 公众号66

    通义实验室详解 MNN 适配 Arm SME2:Qwen3-VL-4B 端侧 Prefill 提速 81%

    通义实验室发布基于 MNN 推理引擎适配 Arm SME2 指令集的端侧大模型部署教程,提供了 Qwen3-VL-4B-Instruct 在 Android 旗舰手机上的完整落地流程。

    推荐理由:文章给出了从 MNN 编译到 APK 构建的完整端侧落地流程,读者可据此复现 SME2 指令集对视觉语言模型的加速效果。

5月22日周五