Skip to content

Deployment engineering

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

606selectedRelated topics开源生态数据与训练端侧 AI

Latest selected

541–560 of 606
Sep 9Wed
  1. Kubernetes Blog70

    Kubernetes v1.37 推进工作负载感知调度:Gang Scheduling 升至 Beta 并引入多层级调度 APIChinese

    Kubernetes v1.37 正式推进工作负载感知调度,核心 Workload 与 PodGroup API(支持 Gang Scheduling)、工作负载感知抢占及 DRA 资源共享均晋升至 Beta 阶段。

    Why it matters: 多层级拓扑感知调度与 PodGroup 队列机制原生落地,为大规模分布式 AI 训练与复杂批处理提供了更细粒度的协同编排能力。

Sep 8Tue
  1. NVIDIA Developer Blog61

    NVIDIA 推出 CUDA Rust:提供两条路径编写 GPU 内核Chinese

    NVIDIA 宣布推出 CUDA Rust,正式支持使用 Rust 语言进行原生 GPU 内核编程。继 CUDA C++ 与 CUDA Python 之后,NVIDIA 计划在 2027 年及未来持续完善 CUDA Rust 工具链,以支持推理引擎、服务基建与智能体运行时等 AI 系统层软件的开发。

    Why it matters: NVIDIA 将 GPU 内核编程拓展至 Rust 生态,为 AI 系统层与推理基础设施开发提供了新的工具选择。

  2. SemiAnalysis · 算力产业80

    SemiAnalysis 评测谷歌 TPUv7 推理表现:原生 TorchTPU 推动生态对外开放Chinese

    SemiAnalysis 发布 InferenceX 针对谷歌 TPUv7 Ironwood 的第三方推理评测,在 FP8 聚合服务场景对比 NVIDIA B200 与 B300 时单位成本性能最高领先 50%。

    Why it matters: 文章从硬件架构与软件栈演进两个维度拆解了谷歌 TPU 对外商业化的可行性与性价比表现。

Sep 4Fri
  1. Kubernetes Blog68

    Kubernetes v1.37 发布 DRA 动态资源分配多项更新Chinese

    Kubernetes 1.37 正式发布并更新了动态资源分配(DRA)功能,其中 DRA 扩展资源支持已晋升为 GA 稳定版。该机制允许 DRA 驱动直接响应传统 extended resource 请求(如 GPU),无需修改既有工作负载即可平滑迁移到底层 DRA 分配逻辑。

    Why it matters: 原文系统梳理了 DRA 扩展资源支持晋升 GA 以及 CEL 自定义匹配等多项改进,读者可据此评估现有 GPU 等异构硬件向 DRA 架构平滑迁移的可行性。

  2. Azure Blog · 云基础设施88

    OpenAI 前沿模型 GPT-6 Astra 正式在 Microsoft Foundry 全面可用Chinese

    OpenAI 最新前沿模型 GPT-6 Astra 正式在 Microsoft Foundry 全面可用(GA),主打面向复杂企业任务的多步规划、跨应用工具调用以及计算机使用(computer use)能力。

    Why it matters: 原文明确了前沿智能体模型在企业云端的部署形态与调用定价,有助于评估复杂跨应用自动化任务的落地成本与安全架构。

Sep 2Wed
  1. Engineering at Meta71

    Meta 介绍组织级第二大脑:构建从专家反馈中持续学习的 AI Agent 架构Chinese

    Meta 工程团队介绍了用于合规等高专业度领域的“组织第二大脑”AI Agent 架构,将领域知识与推理步骤解耦,并在无需微调模型的前提下将专家反馈自动编译为可验证的知识库更新。系统由结构化文件知识库、可组合的推理配方(Recipes)以及自动化自我改进闭环组成,使每次人工修正通过回归测试转化为永久沉淀;落地实践将单次评估时间从数天缩短至数分钟,且单轮 token 消耗降低约 80%。

    Why it matters: 原文展示了无需微调即可将专家反馈编译为版本化知识文件的自进化 Agent 架构,为企业沉淀领域专业知识提供了可落地的工程范式。

Sep 1Tue
  1. AWS Architecture78

    MCP 核心转为无状态架构:AWS 部署最佳实践与迁移指南Chinese

    MCP 规范发布了无状态核心重大修订,取消了初始化握手与会话头(Mcp-Session-Id),使远程 MCP 服务全面适配无状态与 Serverless 架构。

    Why it matters: 文章详细对比了 MCP 无状态核心规范与旧版架构差异,为 AWS 上的 MCP 服务迁移与成本优化提供了清晰的工程指引。

  2. 腾讯混元 公众号73

    腾讯混元发布 Hy4 preview 轻量量化版,模型权重从 1.5TB 压缩至 214GBChinese

    腾讯混元团队推出 Hy4 preview 轻量量化版本,通过自研 Sherry 稀疏三值量化算法与 MIX-STQ1_0 逐层混合精度策略,将模型权重从接近 1.5TB 压缩至约 214GB。

    Why it matters: 原文详述了自研三值量化与混合精度策略,为超大参数模型在有限与异构硬件上的本地推理提供了可迁移的工程参考。

  3. Hugging Face73

    Hugging Face 推出 @huggingface/kernels 与 200+ WebGPU 算子库Chinese

    Hugging Face 推出 @huggingface/kernels 库及首批 207 个 WebGPU 算子,旨在加速浏览器端本地 AI 推理。每个算子以独立版本化仓库发布在 Hub 上,包含接口契约、WGSL 着色器模板、正确性与基准测试用例,并同步推出了浏览器端基准测试工具 Fleet 以众包真实硬件数据。

    Why it matters: Hugging Face 将 WebGPU 算子模块化管理并提供众包基准测试,有助于开发者提升端侧浏览器 AI 推理性能。

  4. AWS News · 云基础设施71

    基于 AWS Graviton5 处理器的 Amazon EC2 R9g 与 R9gd 实例正式全面可用Chinese

    AWS 宣布基于自研 Graviton5 处理器的 Amazon EC2 R9g 和 R9gd 内存优化型实例正式全面可用。新实例单 vCPU 计算性能较 Graviton4 提升高达 25%,搭载 DDR5 8800 MT/s 内存与 5 倍 L3 缓存,最大规格提供 100 Gbps 网络和 72 Gbps EBS 带宽,R9gd 还附带本地 NVMe SSD 存储。

    Why it matters: 原文详细给出了基于Graviton5实例的硬件提升与完整规格表,便于读者评估内存型工作负载的云上迁移成本与性能增益。

  5. The Next Platform63

    从长远看 Nvidia NVSwitch 将成为 AI 纵向扩展网络的 InfiniBandChinese

    随着 Ultra Ethernet、UALink 和 ESUN 等开放标准推进,以太网正在水平和垂直扩展互联中蚕食专用协议市场,但 Nvidia 的 NVLink 与 NVSwitch 仍将在短期内主导 AI 纵向扩展网络。

    Why it matters: 原文通过梳理网络技术演进历史,对比了 NVSwitch 与 UALink 等开放协议在 AI 纵向扩展互联中的博弈路径。

Aug 30Sun
  1. SemiAnalysis · 算力产业81

    SemiAnalysis 调研报告:多数新兴 GPU 云存在严重安全缺陷Chinese

    SemiAnalysis 在 ClusterMAX 3.0 实测中指出,多数新兴 GPU 云在系统设计上存在严重漏洞,易导致跨租户数据泄露甚至远程代码执行。测试发现了仅靠容器隔离被击穿、共享 Kubernetes 控制平面、InfiniBand 默认 P_Key 未清理以及 BlueField DPU 开放 host-trusted 权限等典型设计缺陷。

    Why it matters: SemiAnalysis 结合实测揭露了新兴 GPU 云在租户隔离与网络配置上的架构隐患,为算力租用方排查基础设施安全漏洞提供了关键参考。

Aug 27Thu
  1. NVIDIA Developer Blog70

    NVIDIA 推出 NVLink Fusion 将 NVHBM 引入下一代 AI 基础设施Chinese

    NVIDIA 推出 NVLink Fusion,将 NVHBM 引入下一代 AI 基础设施。该方案主要应对超大规模计算中心与定制 AI 加速器在运行超大模型及复杂推理任务时对高带宽内存的需求,以保障大规模扩展下的算力供给与互连效率。

    Why it matters: 原文介绍了面向下一代 AI 基础设施的内存互连方案,有助于了解大模型与定制加速器在带宽扩展上的架构演进。

  2. LangChain 官方博客66

    LangSmith LLM Gateway 开启公测:面向生产环境智能体的运行时治理网关Chinese

    LangChain 宣布 LangSmith LLM Gateway 正式开启公测,定位为介于智能体与大模型调用之间的集中治理层。该网关支持在组织、工作区、API 密钥及用户四个层级配置支出上限、速率限制、模型自动故障转移,并向 Enterprise 方案提供 PII 与敏感数据脱敏。

    Why it matters: 针对生产环境智能体调用失控风险,平台通过集中式网关提供支出上限与跨模型降级等运行时治理能力。

  3. LangChain 官方博客78

    LangChain 为何重构官方 Chatbot 及核心实践经验Chinese

    LangChain 重构了官方问答应用 Chat LangChain,放弃传统的文档切块与向量嵌入方案,转向直接 API 结构化检索与 LangGraph 多子智能体架构。

    Why it matters: 文章详细复盘了放弃向量嵌入并转向直接结构化检索与多子图架构的实战细节,为构建生产级技术问答智能体提供了落地参考。

  4. LangChain 官方博客62

    LangChain 发布 AI 智能体提速指南:如何排查并降低智能体延迟Chinese

    LangChain 发布 AI 智能体延迟优化指南,总结了定位瓶颈、改善交互体验、减少模型调用、加速调用以及并行执行五大优化维度。在感知层面,建议通过流式输出规划步骤和思考过程,或将任务置于后台运行以消除等待感;在架构层面,推荐使用代码加大语言模型的混合编排(如 LangGraph)替代多智能体冗余调用,并通过精简上下文、采用高速轻量模型以及并行执行安全护栏或文档抽取来缩短实际耗时。

    Why it matters: 文章从感知延迟与实际执行两方面系统梳理了智能体提速策略,提供了切实可行的工程优化方案。