Skip to content
Oct 27Tue
  1. AWS 机器学习69

    Amazon Bedrock 详解智能体 Prompt 缓存模式,降低 OpenAI 模型调用成本Chinese

    AWS 详细介绍了在 Amazon Bedrock 上调用 OpenAI 模型时应用 Prompt 缓存的工程模式,解决 AI 智能体在多轮对话中重复读取历史上下文导致的高成本问题。

    Why it matters: 原文给出了隐式与显式缓存结合的具体配置模式,帮助多轮智能体复用工具与上下文并降低输入成本。

  2. Google Developers · AI 筛选81

    Google Docs 与 Google Drive 支持原生预览、编辑与协同处理 Markdown 文件Chinese

    Google Docs 与 Google Drive 正式支持原生查看、编辑及协同处理 Markdown(.md)文件,无需手动进行格式转换。编辑时保留原生格式并带有 .md 标识,支持人类与 AI 智能体实时协同编辑、添加行级评论与追踪版本历史,Google Drive 也提供富文本预览与纯文本切换功能。该功能已面向所有 Google 及 Workspace 账户开放。

    Why it matters: 原生支持让技术文档免于格式转换,方便开发者与智能体在保持源文件结构的前提下直接协同编辑。

  3. Engineering at Meta82

    Meta 在 2026 OCP 峰会公布全栈 AI 网络架构,涵盖液冷机架与 102.4T 交换机Chinese

    Meta 在 2026 OCP 全球峰会上公布了用于支持吉瓦级 Prometheus 集群的多项 AI 网络基础设施与开源架构方案。发布内容包括 Meta 首款 102.4T 液冷网络机架 IcePack 与 IceCube 交换机、单 GPU 连接 8 个网络平面的 FPF 架构,以及用于跨园区与跨区域连接的 BAG 超级骨干网。

    Why it matters: 原文系统公开了吉瓦级集群的完整网络方案,为行业设计液冷机架与跨数据中心互联提供了工程参考。

Oct 26Mon
  1. NVIDIA Developer Blog49

    NVIDIA Mission Control 2.5 如何为 Kubernetes 带来自主恢复Chinese

    NVIDIA Mission Control 2.5 为 Kubernetes 引入自主恢复机制,旨在数千块 GPU 规模下训练大规模 AI 模型时优化集群弹性与运行时间。针对现代 AI 工厂的高风险运行需求,该方案通过内置监控与自动化功能,帮助数据中心进一步优化平均修复时间(MTTR)与平均故障间隔时间(MTBF)。

  2. CNCF Blog60

    结合 kagent 与 Agent Substrate 构建 Kubernetes 上的 AI Agent 沙箱隔离环境Chinese

    CNCF 博客详细介绍了如何结合声明式运行时 kagent 与底层沙箱平台 Agent Substrate,在 Kubernetes 环境中实现 AI Agent 的隔离与受控运行。系统通过 gVisor 拦截系统调用实现软件隔离,并借助 microVM 硬件虚拟化实现物理级隔离;工作负载以 Actor 形式按会话动态启停,支持通过 CRD 和 UI 进行声明式配置与快照管理。

    Why it matters: 文章展示了结合 kagent 与 Agent Substrate 在 Kubernetes 上实现多租户 Agent 软硬件隔离沙箱的具体部署与调度方案。

  3. LangChain 官方博客71

    LangChain 总结构建企业级智能体 Harness 的五大核心组件Chinese

    LangChain 总结了在内部构建企业级智能体 Harness 的五大核心组件,涵盖嵌入工作流的用户体验、用户代行与固定身份认证、分层记忆、沙箱代码执行以及定时调度机制。

    Why it matters: 文章提炼了企业级多协作智能体的通用架构模式,为落地内部工作流与权限隔离提供了可复用实践方案。

Oct 25Sun
  1. vLLM 官方博客(网页)71

    vLLM 实现 DeepSeek-V4.1-Flash 大规模推理优化:性能对标 DeepInfer 并扩展至 GB300 NVL72Chinese

    vLLM 在单台 NVIDIA GB300 NVL72 机架上结合 P/D 分离与 Wide-EP,运行 DeepSeek-V4.1-Flash 在 SemiAnalysis AgentX 基准中达到单 GPU 954K tokens/s 的吞吐量,P90 延迟为单用户 196 tokens/s。

    Why it matters: 原文详细拆解了 vLLM 在整机架规模下结合 Wide-EP 与 EPLB 优化 MoE 推理的瓶颈与解法,为超大规模并发部署提供了实操参考。

  2. Ollama 更新71

    Ollama v0.40.11 发布:支持 macOS 语音生成并引入 d3 决策模型Chinese

    Ollama 发布 v0.40.11 版本,在 macOS 上新增语音生成能力并引入 d3 决策模型。使用 `ollama run` 可在生成音频时朗读文本或模型回复,外部应用可通过兼容 OpenAI 的 `/v1/audio/speech` 端点流式获取音频。

    Why it matters: 该版本为本地环境补充了语音生成端点与轻量分类决策模型,便于开发者在端侧搭建多模态与意图路由工作流。

Oct 24Sat
  1. Claude Code 更新36

    Claude Code v2.1.310 发布Chinese

    Claude Code 发布 v2.1.310 版本,在 Bedrock、Vertex 和 Foundry 等环境中新增 Monitor 工具与插件监控。该版本为 Enterprise 自定义角色新增 Cloud sessions 与 Remote Control 权限,并优化了请求在特定兼容网关失败时的重试机制。

  2. 月之暗面 Kimi 公众号82

    月之暗面正式发布 Kimi K3.1 Pro 模型Chinese

    月之暗面正式推出 Kimi K3.1 系列首个模型 Kimi K3.1 Pro 及其高速版 Kimi K3.1 Pro Highspeed。该模型拥有 3 万亿级参数并支持 100 万上下文,在代码编写、3D 创作、金融研究和长程 Agent 任务上表现显著提升,完整模型权重将于 11 月 4 日前发布。目前用户与开发者已可通过 Web、App、桌面端及 API 接入使用。

    Why it matters: 月之暗面推出首个3万亿级参数模型并承诺开源权重,重点增强了代码与长程智能体能力。

  3. Claude 官方博客(网页)76

    Anthropic 详解主动型智能体 Claude Duet 的安全与隐私架构Chinese

    Anthropic 详解了处于研究预览阶段的主动型智能体 Claude Duet 的安全与隐私架构。该系统支持在用户离线时通过云端浏览器代办读取邮件、起草回复和执行日常任务,在架构上实现了密码、登录 Token 及浏览器沙箱与核心模型的完全隔离。系统还引入了模型外的独立校验器与敏感信息分类器,针对支付、转账或删除数据等关键操作实施分级拦截与人工审批。

    Why it matters: 文章详细拆解了后台代办智能体在凭证隔离与敏感动作校验上的具体防护方案,为自主系统设计提供了工程参考。

  4. vLLM 官方博客(网页)64

    vLLM 基于 16 卡 H200 优化 GLM-5.3:结合 PCP、DCP 与 Hybrid HiSparse 支持 1M 上下文Chinese

    vLLM 推出针对 GLM-5.3 的长上下文推理优化方案,在 16 张 H200 上结合 PCP、DCP 与 Hybrid HiSparse 技术,实现了 1M token 上下文支持并在 AgentX 基准上达到数据并行部署 1.7–3.2 倍的单用户速度。

    Why it matters: 原文详细对比了 PCP 与 DCP 分片如何打破超长上下文的显存与计算瓶颈,为大模型长上下文推理部署提供了具体可落地的工程参考。

  5. Claude 官方博客(网页)70

    Claude Enterprise 正式推出整合 Chat 与 Cowork 的统一体验Chinese

    Claude Enterprise 方案正式全面上线整合 Chat 与 Cowork 的统一体验,支持用户在跨端同一对话中直接提问或交付由云端完成的智能体任务。智能体任务在 Anthropic 托管的独立虚拟机中运行且默认关闭网络出口,原有项目、连接器与技能配置均可继承。此外,管理员可通过新增的高效模式、模型使用权限及分级预算限额来管控用量与成本。

    Why it matters: 企业级统一体验打通了对话与云端智能体执行,管理员可通过隔离环境、高效模式及配额预算在安全合规前提下控制成本。

  6. NVIDIA Developer Blog17

    借助 Global Performance Tuner 扩展 NVIDIA TensorRT 性能优化:超越单一构建路径(第 1 部分)Chinese

    NVIDIA TensorRT 借助 Global Performance Tuner 拓展超越单一构建路径的性能优化能力。在构建引擎时,模型部署不仅是将算子转为 GPU kernel 的编译问题,TensorRT 还需针对 graph-IR 转换、融合、实现选择、内存布局与量化等环节做出相互依赖的调度决策。

  7. AWS 机器学习47

    用 AWS CDK 编排 SageMaker AI 端点自动扩缩容Chinese

    AWS CDK 方案通过引入 CloudFormation 自定义资源,自动编排 Amazon SageMaker AI 端点更新前后的自动扩缩容注销与重新注册,解决了配置变更时部署失败的问题。该方案使用 3 个自定义资源严格控制依赖执行顺序,使用户无需人工干预即可在单次部署中同步更新端点配置与自动扩缩容参数。

  8. LangChain 官方博客66

    LangChain 详解 AI 智能体上下文工程与检索策略Chinese

    LangChain 发布博客探讨 AI 智能体的上下文工程与检索设计,提出避免上下文窗口被冗余信息撑爆的工程化策略。针对低效搜索、单次上下文过载与过时噪音三大痛点,文章介绍了结合文件系统工具(glob/grep)、按需语义检索、大结果自动转存文件返回路径以及利用子智能体并行过滤事实的“检索-转存-委托”设计模式。开发者可通过安装 deepagents 库复用上述检索调度能力与多智能体分流流程。

    Why it matters: 文章拆解了智能体检索导致上下文超载的常见瓶颈,并给出了文件指针分流和子智能体并行过滤的具体工程方案。

  9. OpenAI 官方动态64

    OpenAI 解析如何扩展 Habitat 在线存储以服务超 10 亿 ChatGPT 用户(第二部分)Chinese

    OpenAI 分享了通过可靠的多租户架构、全局缓存以及 Azure Cosmos DB 扩展 Habitat 在线存储系统的实践,使 ChatGPT 的读取性能提升了 12 倍。该方案旨在应对 ChatGPT 超过 10 亿用户规模下的在线存储挑战。

    Why it matters: 文章介绍了结合多租户设计、全局缓存和分布式数据库优化在线存储的具体架构方案,可为超大规模高并发读取系统设计提供参考。

  10. Hugging Face40

    LitPivot:通过文献动态情境化拓展科研构思Chinese

    研究团队与宾夕法尼亚大学合作开发了科研构思辅助系统 LitPivot,可将提案拆分为问题、贡献和评估等分面,并结合检索文献提供带引文支撑的修改建议。系统利用 Asta Paper Finder 检索论文并随编辑动态重排文献,辅助研究者完成文献驱动的选题转向。在 17 名研究者的实验中,专家评定其开发的提案在文献立论依据上显著优于文本编辑器与 AI 对话工具。

Oct 23Fri
  1. CNCF Blog68

    基于 Kamaji 与 HAMi 在模拟硬件上构建多租户 GPU Kubernetes 实战Chinese

    作者通过结合开源项目 Kamaji 与 HAMi 的 mock 设备插件,在单台无物理 GPU 的机器上成功搭建了两个相互隔离的多租户 Kubernetes 集群,并完成 GPU 算力切分调度验证。

    Why it matters: 针对无物理硬件时验证集群调度的难题,原文给出了结合托管控制面与显卡模拟插件的完整本地搭建路径。

  2. vLLM 官方博客(网页)71

    vLLM 推出 MiniMax-M3.1-Flash 首日支持并完成多硬件深度优化Chinese

    vLLM 宣布为 MiniMax-M3.1-Flash 提供首日推理支持,全面适配 NVIDIA Blackwell、Rubin 以及 AMD MI350 系列 GPU。

    Why it matters: 原文详述了针对原生低精度稀疏架构在跨硬件平台的算子融合与并行优化细节,为大模型低延迟推理部署提供了可迁移的工程实践参考。

  3. NVIDIA · AI 筛选68

    哈萨克斯坦推进 AI 算力基建,规划 500MW 设施并获 45,000 张 NVIDIA GPU 出口许可Chinese

    哈萨克斯坦全面推进 AI 算力基础设施落地,Firebird 已获得 45,000 张 NVIDIA Grace Blackwell GPU 的美国出口许可,正联合 Kazakhtelecom 建设首期算力工厂,计划于 2027 年第三季度商业化投产,第二阶段规划将总容量提升至约 500MW。

    Why it matters: 哈萨克斯坦通过引入 45,000 张芯片出口许可与 500MW 设施规划,展示了资源型国家将本土能源转化为智算出口的落地路径。