Skip to content

Deployment engineering

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

606selectedRelated topics开源生态数据与训练端侧 AI

Latest selected

561–580 of 606
Aug 27Thu
  1. LangChain 官方博客75

    LangGraph Platform 正式 GA,支持部署与管理长时间运行的有状态智能体Chinese

    LangChain 宣布专用于部署和扩展长时间运行、有状态 AI 智能体的基础设施 LangGraph Platform 正式可用(GA)。该平台提供一键部署、30 个 API 端点、突发流量水平扩展能力、支持记忆与人机协作的持久化层,并内置调试工具 LangGraph Studio。

    Why it matters: 原文梳理了长时间运行与有状态智能体的生产部署方案,开发者可据此评估其持久化与弹性扩展架构对复杂工作流的适配价值。

Aug 26Wed
  1. 腾讯混元 公众号65

    腾讯混元发布 Hy-MT2-1.8B 极低 bit 翻译模型,将 3.3GB 模型压缩至 440MB 并落地直播弹幕Chinese

    腾讯混元联合英特尔与哔哩哔哩推出 Hy-MT2-1.8B 极低比特翻译模型方案,提供 2-bit(574MB)与 1.25-bit(440MB)两套量化版本,将原本 3.3GB 的端侧模型压缩至几百兆且保持翻译质量几乎无损。

    Why it matters: 原文展示了从量化算法、芯片指令优化到直播弹幕落地的完整链路,为端侧小模型的极致压缩与低资源部署提供了可复用实践。

  2. Kubernetes Blog70

    Kubernetes v1.37 正式发布Chinese

    Kubernetes 正式发布 v1.37 版本,共带来 67 项功能增强,其中 16 项毕业至 Stable、23 项进入 Beta、27 项进入 Alpha。

    Why it matters: 原文汇总了新版本全部功能演进,为针对 AI 训练与弹性算力调度的集群架构升级提供了选型参考。

  3. AWS HPC63

    基于 AWS ParallelCluster 管理大规模大语言模型训练环境实战Chinese

    AWS 团队分享了在韩国国家 AI 研究项目中为多所科研机构提供 30 台 p5en.48xlarge 实例(240 张 H200 GPU)的管理实战经验。文章详细拆解了 AWS ParallelCluster 的 cluster-config.yaml 配置要点,包括 EFA 网络开启、基于内存的调度以及容量预留锁定。

    Why it matters: 原文给出了多团队共享 GPU 集群时的 ParallelCluster 与 Slurm QoS 详细配置,工程团队可直接借鉴多租户调度与防资源垄断策略。

Aug 25Tue
  1. NVIDIA Developer Blog62

    CUDA Python 1.0 发布:提供稳定 API 与底层平台完整访问能力Chinese

    NVIDIA 发布 CUDA Python 1.0,提供稳定的 API、统一基础架构以及对 CUDA 平台的完整访问能力。该版本旨在解决 Python 开发者此前要么手写 CUDA C++ 扩展、要么完全依赖 PyTorch 或 CuPy 等上层库的局限。

    Why it matters: 原文阐述了 CUDA Python 1.0 提供的稳定 API 与平台访问能力,有助于开发者评估如何降低 Python 调用底层 GPU 的开发门槛。

  2. SemiAnalysis · 算力产业89

    OpenAI 推理芯片 Jalapeño 架构与实测表现披露Chinese

    SemiAnalysis 实测并披露了 OpenAI 联手博通打造的专用 LLM 推理芯片 Jalapeño。该芯片采用台积电 N3P 工艺与 HBM4 内存,TDP 约为 700W,在单 token 预测测试中的每瓦 token 吞吐量超过 Nvidia Blackwell,且在 DeepSeek R1 和 GPT-OSS 上展现出极高的交互速度。

    Why it matters: 原文披露了首款自研推理芯片的实测数据与机架互联架构,读者可据此评估大模型厂商垂直整合对算力格局的具体冲击。

  3. Hugging Face73

    Gradio 推出 gr.Workflow 工作流编排功能Chinese

    Gradio 正式推出内置工作流功能 gr.Workflow,支持开发者将 AI 流水线定义为类型化节点图,提供可运行的拖拽式画布、REST API 暴露以及一键部署到 Hugging Face Spaces 的能力。

    Why it matters: 介绍 Gradio 如何将多步 AI 流水线转化为可视化节点图与 REST 接口,读者可据此评估应用编排与快速部署方案。

  4. Engineering at Meta75

    Meta 开源 MetaRoCE:专为大规模 AI 以太网设计的 RDMA 传输协议Chinese

    Meta 宣布推出专为百万 GPU 规模 AI 工作负载设计的 RDMA 传输协议 MetaRoCE,并通过开放计算项目(OCP)开源其完整规范、软件参考实现 libsoftmetaroce 与合规测试套件。

    Why it matters: 原文给出了面向百万级 GPU 的传输层设计与测试数据,读者可以据此评估在标准以太网上去除 PFC 对智算网络吞吐与弹性的提升。

  5. Engineering at Meta82

    Meta 推出首款内置网卡与通信卸载引擎的训练芯片 MTIA 300Chinese

    Meta 推出首款针对推荐与排序模型训练优化的自研 AI 芯片 MTIA 300,在芯片封装内集成了自研网卡芯粒与专用通信卸载引擎。该芯片包含 12 个 800 Gbps RDMA 网卡以提供 1.2 TB/s 的 I/O 带宽,并借助 16 个专用消息引擎使集合通信对算力吞吐的干扰降至 0.5% 以下。

    Why it matters: 芯片通过片上集成网卡与近存通信引擎实现通信计算完全解耦,为大规模推荐模型训练的通信瓶颈提供了硬件层面的协同设计参考。

Aug 21Fri
  1. Hugging Face64

    Hugging Face 如何利用 Endpoints、Jobs 和 Buckets 构建 Papers with Code 混合搜索引擎Chinese

    Hugging Face 详细介绍了 Papers with Code 的混合检索架构设计,结合 PostgreSQL 全文检索与 pgvector 语义向量检索管理超过 11 万篇论文。

    Why it matters: 原文详细拆解了离线全量构建与在线低延迟检索解耦的系统设计,为向量与全文混合搜索落地提供了可复用的工程参考。

Aug 19Wed
  1. The Next Platform60

    Cerebras 发布 Nexus CS-4 算力系统:搭载超频版 WSE-3 晶圆级芯片提升推理性能Chinese

    Cerebras 正式推出代号为 Nexus 的 CS-4 系统,搭载超频版 WSE-3 Turbo 晶圆级引擎,通过两倍供电与增强散热将芯片算力与吞吐提升至前代的 2 倍。

    Why it matters: 文章解析了 CS-4 如何通过超频 WSE-3 芯片与背包式解耦机架设计,在不更换底层晶圆制程的前提下实现单机吞吐与部署效率的翻倍。

Aug 18Tue
  1. Hugging Face63

    Dharma AI 提出约束感知 GPU 调度方案:同集群利用率最高提升 33 个百分点Chinese

    Dharma AI 构建了一种约束感知 GPU 调度分配器,在硬件与工作负载完全相同的情况下,相比传统先进先出(FIFO)调度将 GPU 利用率最高提升 33 个百分点,优先级加权产出平均提升 52%。

    Why it matters: 文章详细拆解了混合负载下约束感知调度与需求预测的设计方法,为算力集群提升利用率提供了可落地的工程思路。

Aug 14Fri
  1. Hugging Face80

    Hugging Face 发布 2026 年夏季开源模型报告:千问成为主流基座,小模型与端侧工具主导实际落地Chinese

    Hugging Face 发布 2026 年夏季开源模型生态报告,指出开源模型呈现关注度与实际工程落地脱节的特征,千问已成为社区最核心的基础底座。报告数据显示,平台 83% 的历史下载量集中在 1B 以下小模型,中国团队在 754B 至 2.78T 超大参数开源模型上持续领跑,主要依靠 llama.cpp 等 GGUF 本地推理工具实现社区分发。

    Why it matters: 报告通过平台下载与点赞数据揭示了开源大模型关注度与实际工程落地的脱节,为开发者技术选型提供了客观参考。

  2. Hugging Face66

    借助 Strands Agents、LeRobot 与 Hugging Face Storage Buckets 实现机器人数据采集、训练与部署闭环Chinese

    Hugging Face 与 AWS 联合展示了通过 Strands Robots、LeRobot 和 Hugging Face Storage Buckets 构建机器人端到端流式数据闭环的方法。

    Why it matters: 原文给出了基于 Storage Buckets 增量去重与流式读取的端到端机器人闭环实践,读者可据此降低具身智能数据传输与存储开销。

Aug 12Wed
  1. Engineering at Meta66

    Meta 解读 WhatsApp 如何在端到端加密下构建防诈预警功能 Scam AlertChinese

    Meta 详细介绍了 WhatsApp 正在测试的防诈预警功能 Scam Alert 的技术架构。该功能完全在端侧运行轻量机器学习模型以识别潜在诈骗消息,所有消息内容均不出设备且不进行自动上报。系统通过基于 TEE 的机密联邦分析管道收集带差分隐私噪声的聚合指标,并借助第三方透明账本与 OHTTP 中继确保模型下发与分析流程公开可验证且无法针对特定用户定向投递。

    Why it matters: 文章详细公开了如何在端到端加密场景下结合端侧模型与机密计算构建兼顾隐私与可验证性的系统方案。

Aug 11Tue
Aug 10Mon
  1. The Next Platform63

    AI 网络向三维扩展推动 Arista 季度营收突破 30 亿美元Chinese

    Arista Networks 在 2026 年第二季度营收同比增长 37.7% 至 30.4 亿美元,单季销售额首次突破 30 亿美元,并将 2026 全年营收指引上调至 126 亿美元。

    Why it matters: 原文梳理了网络设备商在跨数据中心、跨节点与芯片级三类 AI 网络中的营收分布和演进路径,便于读者理解智算网络市场格局。

Aug 8Sat
  1. The Next Platform73

    AMD 收购 AI 推理芯片初创公司 Taalas,推进模型专用架构与 GPU 融合Chinese

    AMD 本周以未披露金额收购 AI 推理初创公司 Taalas,计划将其技术整合进加速器路线图并与 AMD Instinct GPU 打造系统级方案。Taalas 的核心架构是将模型权重硬编码进 ROM 电路并搭配大容量 SRAM 作为片上 KV cache,针对 Decode 阶段提供极低延迟与更高能效。

    Why it matters: 文章拆解了解耦推理架构下 GPU 负责 Prefill 与专用芯片负责 Decode 的性能差异,帮助理解大厂布局硬件收购的技术动因。

Aug 7Fri
  1. AWS News · 云基础设施70

    Amazon Bedrock AgentCore 推出 Runtime instances 托管持久计算Chinese

    AWS 宣布在 Amazon Bedrock AgentCore Runtime 中推出 Runtime instances,为生产环境中的复杂 AI 智能体提供全托管的持久计算基础设施。

    Why it matters: 该功能通过托管 EC2 基础设施支持长达 14 天的会话持久化与 GPU 加速,开发者可直接基于共享文件系统构建多智能体协作。