本文へスキップ

デプロイ技術

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

593件の厳選関連トピック开源生态数据与训练端侧 AI

最新の厳選

521〜540 件目 · 全 593 件
9月15日火
  1. LangChain 官方博客80

    LangChain 如何构建付费投放智能体 Paid Media Agent中国語

    LangChain 开源并解析了其内部付费投放智能体 Paid Media Agent 的架构设计,展示如何利用智能体自动化处理多渠道广告分析与投放决策。团队将计算任务剥离至 Python 代码并采用沙盒微虚拟机环境,把上下文分层为通用技能、公司 Wiki 与动态工具,使单次分析运行时间从 18 分钟缩短至 85 秒。

    推薦理由:文章拆解了将计算移入代码、上下文分层与按需检索工具的具体架构,为企业复杂业务智能体的工程落地提供了可复用范式。

  2. SemiAnalysis · 算力产业77

    SemiAnalysis 深度分析:机器人推理该放端侧还是数据中心中国語

    SemiAnalysis 分析了通用机器人智能体系的算力部署难题,指出机器人通用规划模型(System 2)参数规模正向千亿乃至万亿迈进,受功耗、散热与晶圆短缺限制,难以完全在端侧芯片承载。

    推薦理由:文章从晶圆供给、DRAM占用与TCO拆解了机器人端侧与云端推理的经济性分水岭,为具身智能系统架构选型提供了罕见的硬件成本参照。

9月14日月
  1. LangChain 官方博客65

    LangChain 如何构建内部 GTM 智能体中国語

    LangChain 详细分享了其内部 GTM 智能体的架构与落地成果,该系统端到端处理线索调研与邮件草拟,使转化率提升 250% 并为人均每月节省 40 小时。

    推薦理由:原文详细拆解了业务智能体的记忆学习循环与多子智能体并行编排方案,为长流程自动化提供了可落地的工程参考。

9月11日金
  1. OpenAI 官方动态67

    OpenAI 解析如何扩展在线存储以服务超 10 亿 ChatGPT 用户中国語

    OpenAI 阐述了其存储平台 Habitat 如何从最初的 Python 库演进为全球分布式存储平台。该架构目前用于支撑 10 亿 ChatGPT 用户,并能处理每秒 2200 万次请求。

    推薦理由:原文展示了支撑十亿级用户与千万级并发的底层存储演进路径,具有工程架构参考价值。

9月10日木
  1. The Next Platform72

    d-Matrix 与 Nvidia 达成合作:将存算一体芯片 Raptor XPU 接入 NVL144 MGX 机架中国語

    AI 推理芯片初创公司 d-Matrix 宣布与 Nvidia 达成合作,将其基于 3D-RAM 的下一代推理芯片 Raptor XPU 接入 Nvidia MGX 架构与 NVL144 液冷机架。

    推薦理由:存算一体芯片通过接入主流机架与高速互连架构降低落地门槛,为高并发低延迟的生成式推理提供了机架级异构部署参考。

  2. 月之暗面 Kimi 公众号64

    Kimi 启动企业合作伙伴计划,联合集成商共建 FDE 推进企业级落地中国語

    Kimi 正式启动企业合作伙伴计划,与 IT 服务商及系统集成商共建前线部署工程师(FDE)队伍,推动模型能力与 Agent 底座深入客户现场完成生产级交付。首批签约伙伴包括华胜天成、金山云、亚康股份、亚信科技和中软国际,重点应对数据不出域、系统私有化与算力适配等落地难题。Kimi 将提供模型能力、Hosted Agents 运行底座与工程师培训认证,利用一线场景认知反哺模型研发闭环。

    推薦理由:原文展现了模型厂商借力传统系统集成商与 FDE 模式切入政企核心业务的路径,读者可借此评估大模型商业落地的交付分工。

  3. Hugging Face70

    Hugging Face 展示基于 Storage Bucket 与代理的跨节点 LoRA 异步 GRPO 训练实践中国語

    Hugging Face 在 TRL v1.14 中为 AsyncGRPOTrainer 增加了 LoRA 适配器同步支持,使训练节点与 vLLM 推理副本无需跨机 NCCL 即可跨节点独立运行。

    推薦理由:原文展示了无需 NCCL 跨机通信的异步 GRPO 架构实现与调优细节,读者可据此排查强化学习训练与推理流水线的吞吐瓶颈。

9月9日水
  1. Kubernetes Blog70

    Kubernetes v1.37 推进工作负载感知调度:Gang Scheduling 升至 Beta 并引入多层级调度 API中国語

    Kubernetes v1.37 正式推进工作负载感知调度,核心 Workload 与 PodGroup API(支持 Gang Scheduling)、工作负载感知抢占及 DRA 资源共享均晋升至 Beta 阶段。

    推薦理由:多层级拓扑感知调度与 PodGroup 队列机制原生落地,为大规模分布式 AI 训练与复杂批处理提供了更细粒度的协同编排能力。

9月8日火
  1. NVIDIA Developer Blog61

    NVIDIA 推出 CUDA Rust:提供两条路径编写 GPU 内核中国語

    NVIDIA 宣布推出 CUDA Rust,正式支持使用 Rust 语言进行原生 GPU 内核编程。继 CUDA C++ 与 CUDA Python 之后,NVIDIA 计划在 2027 年及未来持续完善 CUDA Rust 工具链,以支持推理引擎、服务基建与智能体运行时等 AI 系统层软件的开发。

    推薦理由:NVIDIA 将 GPU 内核编程拓展至 Rust 生态,为 AI 系统层与推理基础设施开发提供了新的工具选择。

  2. SemiAnalysis · 算力产业80

    SemiAnalysis 评测谷歌 TPUv7 推理表现:原生 TorchTPU 推动生态对外开放中国語

    SemiAnalysis 发布 InferenceX 针对谷歌 TPUv7 Ironwood 的第三方推理评测,在 FP8 聚合服务场景对比 NVIDIA B200 与 B300 时单位成本性能最高领先 50%。

    推薦理由:文章从硬件架构与软件栈演进两个维度拆解了谷歌 TPU 对外商业化的可行性与性价比表现。

9月4日金
  1. Kubernetes Blog68

    Kubernetes v1.37 发布 DRA 动态资源分配多项更新中国語

    Kubernetes 1.37 正式发布并更新了动态资源分配(DRA)功能,其中 DRA 扩展资源支持已晋升为 GA 稳定版。该机制允许 DRA 驱动直接响应传统 extended resource 请求(如 GPU),无需修改既有工作负载即可平滑迁移到底层 DRA 分配逻辑。

    推薦理由:原文系统梳理了 DRA 扩展资源支持晋升 GA 以及 CEL 自定义匹配等多项改进,读者可据此评估现有 GPU 等异构硬件向 DRA 架构平滑迁移的可行性。

  2. Azure Blog · 云基础设施88

    OpenAI 前沿模型 GPT-6 Astra 正式在 Microsoft Foundry 全面可用中国語

    OpenAI 最新前沿模型 GPT-6 Astra 正式在 Microsoft Foundry 全面可用(GA),主打面向复杂企业任务的多步规划、跨应用工具调用以及计算机使用(computer use)能力。

    推薦理由:原文明确了前沿智能体模型在企业云端的部署形态与调用定价,有助于评估复杂跨应用自动化任务的落地成本与安全架构。

9月2日水
  1. Engineering at Meta71

    Meta 介绍组织级第二大脑:构建从专家反馈中持续学习的 AI Agent 架构中国語

    Meta 工程团队介绍了用于合规等高专业度领域的“组织第二大脑”AI Agent 架构,将领域知识与推理步骤解耦,并在无需微调模型的前提下将专家反馈自动编译为可验证的知识库更新。系统由结构化文件知识库、可组合的推理配方(Recipes)以及自动化自我改进闭环组成,使每次人工修正通过回归测试转化为永久沉淀;落地实践将单次评估时间从数天缩短至数分钟,且单轮 token 消耗降低约 80%。

    推薦理由:原文展示了无需微调即可将专家反馈编译为版本化知识文件的自进化 Agent 架构,为企业沉淀领域专业知识提供了可落地的工程范式。

9月1日火
  1. AWS Architecture78

    MCP 核心转为无状态架构:AWS 部署最佳实践与迁移指南中国語

    MCP 规范发布了无状态核心重大修订,取消了初始化握手与会话头(Mcp-Session-Id),使远程 MCP 服务全面适配无状态与 Serverless 架构。

    推薦理由:文章详细对比了 MCP 无状态核心规范与旧版架构差异,为 AWS 上的 MCP 服务迁移与成本优化提供了清晰的工程指引。

  2. The Next Platform60

    VMware 推出 Private AI Cloud 与 AI Factory 方案中国語

    VMware 联合博通推出 VMware Private AI Cloud 及底层的 AI Factory 模型即服务方案,支持企业将生产级 AI 工作负载迁移至本地私有云环境。

    推薦理由:方案将私有云全栈软硬件与智能体隔离沙箱集成打包,为评估 AI 工作负载从公有云回迁本地的团队提供了参考架构。

  3. 腾讯混元 公众号73

    腾讯混元发布 Hy4 preview 轻量量化版,模型权重从 1.5TB 压缩至 214GB中国語

    腾讯混元团队推出 Hy4 preview 轻量量化版本,通过自研 Sherry 稀疏三值量化算法与 MIX-STQ1_0 逐层混合精度策略,将模型权重从接近 1.5TB 压缩至约 214GB。

    推薦理由:原文详述了自研三值量化与混合精度策略,为超大参数模型在有限与异构硬件上的本地推理提供了可迁移的工程参考。

  4. Hugging Face73

    Hugging Face 推出 @huggingface/kernels 与 200+ WebGPU 算子库中国語

    Hugging Face 推出 @huggingface/kernels 库及首批 207 个 WebGPU 算子,旨在加速浏览器端本地 AI 推理。每个算子以独立版本化仓库发布在 Hub 上,包含接口契约、WGSL 着色器模板、正确性与基准测试用例,并同步推出了浏览器端基准测试工具 Fleet 以众包真实硬件数据。

    推薦理由:Hugging Face 将 WebGPU 算子模块化管理并提供众包基准测试,有助于开发者提升端侧浏览器 AI 推理性能。

  5. AWS News · 云基础设施71

    基于 AWS Graviton5 处理器的 Amazon EC2 R9g 与 R9gd 实例正式全面可用中国語

    AWS 宣布基于自研 Graviton5 处理器的 Amazon EC2 R9g 和 R9gd 内存优化型实例正式全面可用。新实例单 vCPU 计算性能较 Graviton4 提升高达 25%,搭载 DDR5 8800 MT/s 内存与 5 倍 L3 缓存,最大规格提供 100 Gbps 网络和 72 Gbps EBS 带宽,R9gd 还附带本地 NVMe SSD 存储。

    推薦理由:原文详细给出了基于Graviton5实例的硬件提升与完整规格表,便于读者评估内存型工作负载的云上迁移成本与性能增益。

  6. The Next Platform63

    从长远看 Nvidia NVSwitch 将成为 AI 纵向扩展网络的 InfiniBand中国語

    随着 Ultra Ethernet、UALink 和 ESUN 等开放标准推进,以太网正在水平和垂直扩展互联中蚕食专用协议市场,但 Nvidia 的 NVLink 与 NVSwitch 仍将在短期内主导 AI 纵向扩展网络。

    推薦理由:原文通过梳理网络技术演进历史,对比了 NVSwitch 与 UALink 等开放协议在 AI 纵向扩展互联中的博弈路径。

8月30日日
  1. SemiAnalysis · 算力产业81

    SemiAnalysis 调研报告:多数新兴 GPU 云存在严重安全缺陷中国語

    SemiAnalysis 在 ClusterMAX 3.0 实测中指出,多数新兴 GPU 云在系统设计上存在严重漏洞,易导致跨租户数据泄露甚至远程代码执行。测试发现了仅靠容器隔离被击穿、共享 Kubernetes 控制平面、InfiniBand 默认 P_Key 未清理以及 BlueField DPU 开放 host-trusted 权限等典型设计缺陷。

    推薦理由:SemiAnalysis 结合实测揭露了新兴 GPU 云在租户隔离与网络配置上的架构隐患,为算力租用方排查基础设施安全漏洞提供了关键参考。