本文へスキップ

デプロイ技術

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

592件の厳選関連トピック开源生态数据与训练端侧 AI

最新の厳選

541〜560 件目 · 全 592 件
8月27日木
  1. LangChain 官方博客66

    LangSmith LLM Gateway 开启公测:面向生产环境智能体的运行时治理网关中国語

    LangChain 宣布 LangSmith LLM Gateway 正式开启公测,定位为介于智能体与大模型调用之间的集中治理层。该网关支持在组织、工作区、API 密钥及用户四个层级配置支出上限、速率限制、模型自动故障转移,并向 Enterprise 方案提供 PII 与敏感数据脱敏。

    推薦理由:针对生产环境智能体调用失控风险,平台通过集中式网关提供支出上限与跨模型降级等运行时治理能力。

  2. LangChain 官方博客79

    LangChain 推出 LangGraph v0.1 稳定版与 LangGraph Cloud中国語

    LangChain 正式发布用于构建多智能体应用的 LangGraph v0.1 稳定版,并推出专用于规模化部署智能体的云基础设施 LangGraph Cloud。

    推薦理由:官方通过底层控制与云端运行时组合,解决了复杂智能体在生产环境中难以可靠调度和容错扩展的问题。

  3. LangChain 官方博客78

    LangChain 为何重构官方 Chatbot 及核心实践经验中国語

    LangChain 重构了官方问答应用 Chat LangChain,放弃传统的文档切块与向量嵌入方案,转向直接 API 结构化检索与 LangGraph 多子智能体架构。

    推薦理由:文章详细复盘了放弃向量嵌入并转向直接结构化检索与多子图架构的实战细节,为构建生产级技术问答智能体提供了落地参考。

  4. LangChain 官方博客62

    LangChain 发布 AI 智能体提速指南:如何排查并降低智能体延迟中国語

    LangChain 发布 AI 智能体延迟优化指南,总结了定位瓶颈、改善交互体验、减少模型调用、加速调用以及并行执行五大优化维度。在感知层面,建议通过流式输出规划步骤和思考过程,或将任务置于后台运行以消除等待感;在架构层面,推荐使用代码加大语言模型的混合编排(如 LangGraph)替代多智能体冗余调用,并通过精简上下文、采用高速轻量模型以及并行执行安全护栏或文档抽取来缩短实际耗时。

    推薦理由:文章从感知延迟与实际执行两方面系统梳理了智能体提速策略,提供了切实可行的工程优化方案。

  5. LangChain 官方博客75

    LangChain 联合 NVIDIA 推出企业级智能体 AI 平台中国語

    LangChain 宣布与 NVIDIA 深度整合推出企业级智能体 AI 开发平台,并正式加入 Nemotron Coalition。

    推薦理由:原文给出了编排框架与底层算力优化的完整集成方案,读者可以据此参考企业级智能体在工程部署和监控评估上的落地架构。

  6. LangChain 官方博客75

    LangGraph Platform 正式 GA,支持部署与管理长时间运行的有状态智能体中国語

    LangChain 宣布专用于部署和扩展长时间运行、有状态 AI 智能体的基础设施 LangGraph Platform 正式可用(GA)。该平台提供一键部署、30 个 API 端点、突发流量水平扩展能力、支持记忆与人机协作的持久化层,并内置调试工具 LangGraph Studio。

    推薦理由:原文梳理了长时间运行与有状态智能体的生产部署方案,开发者可据此评估其持久化与弹性扩展架构对复杂工作流的适配价值。

8月26日水
  1. 腾讯混元 公众号65

    腾讯混元发布 Hy-MT2-1.8B 极低 bit 翻译模型,将 3.3GB 模型压缩至 440MB 并落地直播弹幕中国語

    腾讯混元联合英特尔与哔哩哔哩推出 Hy-MT2-1.8B 极低比特翻译模型方案,提供 2-bit(574MB)与 1.25-bit(440MB)两套量化版本,将原本 3.3GB 的端侧模型压缩至几百兆且保持翻译质量几乎无损。

    推薦理由:原文展示了从量化算法、芯片指令优化到直播弹幕落地的完整链路,为端侧小模型的极致压缩与低资源部署提供了可复用实践。

  2. AWS HPC63

    基于 AWS ParallelCluster 管理大规模大语言模型训练环境实战中国語

    AWS 团队分享了在韩国国家 AI 研究项目中为多所科研机构提供 30 台 p5en.48xlarge 实例(240 张 H200 GPU)的管理实战经验。文章详细拆解了 AWS ParallelCluster 的 cluster-config.yaml 配置要点,包括 EFA 网络开启、基于内存的调度以及容量预留锁定。

    推薦理由:原文给出了多团队共享 GPU 集群时的 ParallelCluster 与 Slurm QoS 详细配置,工程团队可直接借鉴多租户调度与防资源垄断策略。

8月25日火
  1. NVIDIA Developer Blog62

    CUDA Python 1.0 发布:提供稳定 API 与底层平台完整访问能力中国語

    NVIDIA 发布 CUDA Python 1.0,提供稳定的 API、统一基础架构以及对 CUDA 平台的完整访问能力。该版本旨在解决 Python 开发者此前要么手写 CUDA C++ 扩展、要么完全依赖 PyTorch 或 CuPy 等上层库的局限。

    推薦理由:原文阐述了 CUDA Python 1.0 提供的稳定 API 与平台访问能力,有助于开发者评估如何降低 Python 调用底层 GPU 的开发门槛。

  2. SemiAnalysis · 算力产业89

    OpenAI 推理芯片 Jalapeño 架构与实测表现披露中国語

    SemiAnalysis 实测并披露了 OpenAI 联手博通打造的专用 LLM 推理芯片 Jalapeño。该芯片采用台积电 N3P 工艺与 HBM4 内存,TDP 约为 700W,在单 token 预测测试中的每瓦 token 吞吐量超过 Nvidia Blackwell,且在 DeepSeek R1 和 GPT-OSS 上展现出极高的交互速度。

    推薦理由:原文披露了首款自研推理芯片的实测数据与机架互联架构,读者可据此评估大模型厂商垂直整合对算力格局的具体冲击。

  3. Hugging Face73

    Gradio 推出 gr.Workflow 工作流编排功能中国語

    Gradio 正式推出内置工作流功能 gr.Workflow,支持开发者将 AI 流水线定义为类型化节点图,提供可运行的拖拽式画布、REST API 暴露以及一键部署到 Hugging Face Spaces 的能力。

    推薦理由:介绍 Gradio 如何将多步 AI 流水线转化为可视化节点图与 REST 接口,读者可据此评估应用编排与快速部署方案。

  4. Engineering at Meta75

    Meta 开源 MetaRoCE:专为大规模 AI 以太网设计的 RDMA 传输协议中国語

    Meta 宣布推出专为百万 GPU 规模 AI 工作负载设计的 RDMA 传输协议 MetaRoCE,并通过开放计算项目(OCP)开源其完整规范、软件参考实现 libsoftmetaroce 与合规测试套件。

    推薦理由:原文给出了面向百万级 GPU 的传输层设计与测试数据,读者可以据此评估在标准以太网上去除 PFC 对智算网络吞吐与弹性的提升。

  5. Engineering at Meta82

    Meta 推出首款内置网卡与通信卸载引擎的训练芯片 MTIA 300中国語

    Meta 推出首款针对推荐与排序模型训练优化的自研 AI 芯片 MTIA 300,在芯片封装内集成了自研网卡芯粒与专用通信卸载引擎。该芯片包含 12 个 800 Gbps RDMA 网卡以提供 1.2 TB/s 的 I/O 带宽,并借助 16 个专用消息引擎使集合通信对算力吞吐的干扰降至 0.5% 以下。

    推薦理由:芯片通过片上集成网卡与近存通信引擎实现通信计算完全解耦,为大规模推荐模型训练的通信瓶颈提供了硬件层面的协同设计参考。

8月21日金
  1. Hugging Face64

    Hugging Face 如何利用 Endpoints、Jobs 和 Buckets 构建 Papers with Code 混合搜索引擎中国語

    Hugging Face 详细介绍了 Papers with Code 的混合检索架构设计,结合 PostgreSQL 全文检索与 pgvector 语义向量检索管理超过 11 万篇论文。

    推薦理由:原文详细拆解了离线全量构建与在线低延迟检索解耦的系统设计,为向量与全文混合搜索落地提供了可复用的工程参考。

8月19日水
  1. The Next Platform60

    Cerebras 发布 Nexus CS-4 算力系统:搭载超频版 WSE-3 晶圆级芯片提升推理性能中国語

    Cerebras 正式推出代号为 Nexus 的 CS-4 系统,搭载超频版 WSE-3 Turbo 晶圆级引擎,通过两倍供电与增强散热将芯片算力与吞吐提升至前代的 2 倍。

    推薦理由:文章解析了 CS-4 如何通过超频 WSE-3 芯片与背包式解耦机架设计,在不更换底层晶圆制程的前提下实现单机吞吐与部署效率的翻倍。

8月18日火
  1. Hugging Face63

    Dharma AI 提出约束感知 GPU 调度方案:同集群利用率最高提升 33 个百分点中国語

    Dharma AI 构建了一种约束感知 GPU 调度分配器,在硬件与工作负载完全相同的情况下,相比传统先进先出(FIFO)调度将 GPU 利用率最高提升 33 个百分点,优先级加权产出平均提升 52%。

    推薦理由:文章详细拆解了混合负载下约束感知调度与需求预测的设计方法,为算力集群提升利用率提供了可落地的工程思路。

8月14日金
  1. Hugging Face80

    Hugging Face 发布 2026 年夏季开源模型报告:千问成为主流基座,小模型与端侧工具主导实际落地中国語

    Hugging Face 发布 2026 年夏季开源模型生态报告,指出开源模型呈现关注度与实际工程落地脱节的特征,千问已成为社区最核心的基础底座。报告数据显示,平台 83% 的历史下载量集中在 1B 以下小模型,中国团队在 754B 至 2.78T 超大参数开源模型上持续领跑,主要依靠 llama.cpp 等 GGUF 本地推理工具实现社区分发。

    推薦理由:报告通过平台下载与点赞数据揭示了开源大模型关注度与实际工程落地的脱节,为开发者技术选型提供了客观参考。

  2. Hugging Face66

    借助 Strands Agents、LeRobot 与 Hugging Face Storage Buckets 实现机器人数据采集、训练与部署闭环中国語

    Hugging Face 与 AWS 联合展示了通过 Strands Robots、LeRobot 和 Hugging Face Storage Buckets 构建机器人端到端流式数据闭环的方法。

    推薦理由:原文给出了基于 Storage Buckets 增量去重与流式读取的端到端机器人闭环实践,读者可据此降低具身智能数据传输与存储开销。