Amazon Bedrock 详解智能体 Prompt 缓存模式,降低 OpenAI 模型调用成本Chinese
AWS 详细介绍了在 Amazon Bedrock 上调用 OpenAI 模型时应用 Prompt 缓存的工程模式,解决 AI 智能体在多轮对话中重复读取历史上下文导致的高成本问题。
Why it matters: 原文给出了隐式与显式缓存结合的具体配置模式,帮助多轮智能体复用工具与上下文并降低输入成本。
AWS 详细介绍了在 Amazon Bedrock 上调用 OpenAI 模型时应用 Prompt 缓存的工程模式,解决 AI 智能体在多轮对话中重复读取历史上下文导致的高成本问题。
Why it matters: 原文给出了隐式与显式缓存结合的具体配置模式,帮助多轮智能体复用工具与上下文并降低输入成本。
Transformers v5.21.0 发布,新增对 MiniCPM-OCR、Flint、UltraVBert 及 100M 参数 Pocket TTS 等多款模型的支持。
Google Research 联合 Stanford Accelerator for Learning 推出 AI Quests 系列第三项任务“Polar Peaks”,面向 11 至 14 岁学生普及神经科学与 AI 素养。
Google Docs 与 Google Drive 正式支持原生查看、编辑及协同处理 Markdown(.md)文件,无需手动进行格式转换。编辑时保留原生格式并带有 .md 标识,支持人类与 AI 智能体实时协同编辑、添加行级评论与追踪版本历史,Google Drive 也提供富文本预览与纯文本切换功能。该功能已面向所有 Google 及 Workspace 账户开放。
Why it matters: 原生支持让技术文档免于格式转换,方便开发者与智能体在保持源文件结构的前提下直接协同编辑。
NVIDIA Minerva 旨在化解 AI 工厂中的海量遥测数据混乱,以实现峰值 GPU 产出效能。在包含数十万颗 GPU、NVIDIA NVLink 与 NVIDIA Spectrum-X 以太网网络以及长达数周训练任务的极复杂环境中,它助力各协作层作为统一的生产系统实现持续协同运行。
Meta 在 2026 OCP 全球峰会上公布了用于支持吉瓦级 Prometheus 集群的多项 AI 网络基础设施与开源架构方案。发布内容包括 Meta 首款 102.4T 液冷网络机架 IcePack 与 IceCube 交换机、单 GPU 连接 8 个网络平面的 FPF 架构,以及用于跨园区与跨区域连接的 BAG 超级骨干网。
Why it matters: 原文系统公开了吉瓦级集群的完整网络方案,为行业设计液冷机架与跨数据中心互联提供了工程参考。
AWS 发布多项服务更新,端到端漏洞管理服务 AWS Continuum 与 Amazon ECS Gateway 正式上线。算力与模型生态方面,原生支持 Trainium2 和 Trainium3 的开源后端 TorchNeuron 开启公测,Polly Generative 引擎新增 14 种语音。
NVIDIA Mission Control 2.5 为 Kubernetes 引入自主恢复机制,旨在数千块 GPU 规模下训练大规模 AI 模型时优化集群弹性与运行时间。针对现代 AI 工厂的高风险运行需求,该方案通过内置监控与自动化功能,帮助数据中心进一步优化平均修复时间(MTTR)与平均故障间隔时间(MTBF)。
Fanatics 借助 OpenAI 推出 Shop the Look 功能,帮助球迷搭配比赛日服饰。在针对约 30,000 件 MLB 产品的测试中,该功能使互动率提升了 10%。
CNCF 博客详细介绍了如何结合声明式运行时 kagent 与底层沙箱平台 Agent Substrate,在 Kubernetes 环境中实现 AI Agent 的隔离与受控运行。系统通过 gVisor 拦截系统调用实现软件隔离,并借助 microVM 硬件虚拟化实现物理级隔离;工作负载以 Actor 形式按会话动态启停,支持通过 CRD 和 UI 进行声明式配置与快照管理。
Why it matters: 文章展示了结合 kagent 与 Agent Substrate 在 Kubernetes 上实现多租户 Agent 软硬件隔离沙箱的具体部署与调度方案。
Vertiv 宣布完成对欧洲流体管理、调试及负荷测试服务商 King Environmental Services Ltd.(KES)的收购,进一步拓展欧洲、中东及非洲(EMEA)地区的高密液冷数据中心热管理服务能力。
LangChain 总结了在内部构建企业级智能体 Harness 的五大核心组件,涵盖嵌入工作流的用户体验、用户代行与固定身份认证、分层记忆、沙箱代码执行以及定时调度机制。
Why it matters: 文章提炼了企业级多协作智能体的通用架构模式,为落地内部工作流与权限隔离提供了可复用实践方案。
vLLM 在单台 NVIDIA GB300 NVL72 机架上结合 P/D 分离与 Wide-EP,运行 DeepSeek-V4.1-Flash 在 SemiAnalysis AgentX 基准中达到单 GPU 954K tokens/s 的吞吐量,P90 延迟为单用户 196 tokens/s。
Why it matters: 原文详细拆解了 vLLM 在整机架规模下结合 Wide-EP 与 EPLB 优化 MoE 推理的瓶颈与解法,为超大规模并发部署提供了实操参考。
Ollama 发布 v0.40.11 版本,在 macOS 上新增语音生成能力并引入 d3 决策模型。使用 `ollama run` 可在生成音频时朗读文本或模型回复,外部应用可通过兼容 OpenAI 的 `/v1/audio/speech` 端点流式获取音频。
Why it matters: 该版本为本地环境补充了语音生成端点与轻量分类决策模型,便于开发者在端侧搭建多模态与意图路由工作流。
Ollama 发布 v0.40.11-rc0 预发布版本,为 Phonon 添加了语音目录。该版本将 llama.cpp 版本升级至 b11845,并在 mlxrunner 中为 Phonon 支持拼写展开符号、数字和链接。此外,本次更新还修复了 qwen3coder 参数中闭合标签保留问题,并调整了 OpenCode 上下文分配及 vllm-d3 状态处理逻辑。
Claude Code 发布 v2.1.310 版本,在 Bedrock、Vertex 和 Foundry 等环境中新增 Monitor 工具与插件监控。该版本为 Enterprise 自定义角色新增 Cloud sessions 与 Remote Control 权限,并优化了请求在特定兼容网关失败时的重试机制。
液冷技术可帮助澳大利亚 AI 数据中心应对受限的电网接入容量。截至 Q2 2026 末,AEMO 在正式输电接入流程中追踪的数据中心最高接入容量已达 9.0 GW,其中 52% 集中在特定区域,电网容量正成为当地 AI 数据中心建设的关键考量。
AI 与高性能计算(HPC)正在改变以往围绕机架、服务器、电源管理和冷却等单一组件的数据中心决策模式。随着算力增强与系统复杂度提高,驱动与构建 AI 基础设施愈发需要依赖更广泛的合作伙伴生态体系。
月之暗面正式推出 Kimi K3.1 系列首个模型 Kimi K3.1 Pro 及其高速版 Kimi K3.1 Pro Highspeed。该模型拥有 3 万亿级参数并支持 100 万上下文,在代码编写、3D 创作、金融研究和长程 Agent 任务上表现显著提升,完整模型权重将于 11 月 4 日前发布。目前用户与开发者已可通过 Web、App、桌面端及 API 接入使用。
Why it matters: 月之暗面推出首个3万亿级参数模型并承诺开源权重,重点增强了代码与长程智能体能力。
Anthropic 详解了处于研究预览阶段的主动型智能体 Claude Duet 的安全与隐私架构。该系统支持在用户离线时通过云端浏览器代办读取邮件、起草回复和执行日常任务,在架构上实现了密码、登录 Token 及浏览器沙箱与核心模型的完全隔离。系统还引入了模型外的独立校验器与敏感信息分类器,针对支付、转账或删除数据等关键操作实施分级拦截与人工审批。
Why it matters: 文章详细拆解了后台代办智能体在凭证隔离与敏感动作校验上的具体防护方案,为自主系统设计提供了工程参考。
OpenAI 阐述了如何加固前沿模型训练与评估的安全隔离体系。防护手段包括采用离线运行环境,以及引入高算力红队测试来检验潜在安全风险。
vLLM 推出针对 GLM-5.3 的长上下文推理优化方案,在 16 张 H200 上结合 PCP、DCP 与 Hybrid HiSparse 技术,实现了 1M token 上下文支持并在 AgentX 基准上达到数据并行部署 1.7–3.2 倍的单用户速度。
Why it matters: 原文详细对比了 PCP 与 DCP 分片如何打破超长上下文的显存与计算瓶颈,为大模型长上下文推理部署提供了具体可落地的工程参考。
Google 汇总了其利用 MedGemma、MedSigLIP 与 HeAR 等基础模型赋能全球结核病(TB)筛查的落地进展,实现离线快速分诊与多国规模化应用。
Why it matters: 展示了医疗多模态模型从算法验证、设备法规认证到离线部署的转化路径,为公共卫生 AI 落地提供了参考范式。
Claude Enterprise 方案正式全面上线整合 Chat 与 Cowork 的统一体验,支持用户在跨端同一对话中直接提问或交付由云端完成的智能体任务。智能体任务在 Anthropic 托管的独立虚拟机中运行且默认关闭网络出口,原有项目、连接器与技能配置均可继承。此外,管理员可通过新增的高效模式、模型使用权限及分级预算限额来管控用量与成本。
Why it matters: 企业级统一体验打通了对话与云端智能体执行,管理员可通过隔离环境、高效模式及配额预算在安全合规前提下控制成本。
Amazon SageMaker AI 推出多轮强化学习(MTRL)端到端实操方案,支持通过 Bedrock AgentCore 部署交互环境与回合级奖励,利用 GRPO 优化多步智能体的 LoRA 适配器。
NVIDIA TensorRT 借助 Global Performance Tuner 拓展超越单一构建路径的性能优化能力。在构建引擎时,模型部署不仅是将算子转为 GPU kernel 的编译问题,TensorRT 还需针对 graph-IR 转换、融合、实现选择、内存布局与量化等环节做出相互依赖的调度决策。
Global Performance Tuner 是 NVIDIA TensorRT 11.1 中推出的自动性能调优功能。该功能通过针对不同模型定制差异化的优化方案,在 TensorRT 内部实现端到端且兼顾模型精度的自动性能调优。
拜耳作物科学基于 Amazon Bedrock AgentCore 与 LangGraph 构建了智能体决策引擎 ADE,为底层机器学习工作流提供多智能体自然语言交互界面,在第一阶段无需工程师介入即可解决约 80% 的用户提问。
AWS CDK 方案通过引入 CloudFormation 自定义资源,自动编排 Amazon SageMaker AI 端点更新前后的自动扩缩容注销与重新注册,解决了配置变更时部署失败的问题。该方案使用 3 个自定义资源严格控制依赖执行顺序,使用户无需人工干预即可在单次部署中同步更新端点配置与自动扩缩容参数。
LangChain 发布博客探讨 AI 智能体的上下文工程与检索设计,提出避免上下文窗口被冗余信息撑爆的工程化策略。针对低效搜索、单次上下文过载与过时噪音三大痛点,文章介绍了结合文件系统工具(glob/grep)、按需语义检索、大结果自动转存文件返回路径以及利用子智能体并行过滤事实的“检索-转存-委托”设计模式。开发者可通过安装 deepagents 库复用上述检索调度能力与多智能体分流流程。
Why it matters: 文章拆解了智能体检索导致上下文超载的常见瓶颈,并给出了文件指针分流和子智能体并行过滤的具体工程方案。
OpenAI 分享了通过可靠的多租户架构、全局缓存以及 Azure Cosmos DB 扩展 Habitat 在线存储系统的实践,使 ChatGPT 的读取性能提升了 12 倍。该方案旨在应对 ChatGPT 超过 10 亿用户规模下的在线存储挑战。
Why it matters: 文章介绍了结合多租户设计、全局缓存和分布式数据库优化在线存储的具体架构方案,可为超大规模高并发读取系统设计提供参考。
研究团队与宾夕法尼亚大学合作开发了科研构思辅助系统 LitPivot,可将提案拆分为问题、贡献和评估等分面,并结合检索文献提供带引文支撑的修改建议。系统利用 Asta Paper Finder 检索论文并随编辑动态重排文献,辅助研究者完成文献驱动的选题转向。在 17 名研究者的实验中,专家评定其开发的提案在文献立论依据上显著优于文本编辑器与 AI 对话工具。
Ollama 发布 v0.40.10 版本,新增对 NVIDIA Nemotron 3.5 Bolt E4B 模型的支持。该模型基于 Gemma 4 构建,面向快速本地对话、图像理解和工具使用,支持 128K-token 上下文窗口,并集成用于推测解码的 DFlash draft。用户可通过执行 ollama run nemotron-3.5-bolt:e4b 命令在本地直接运行。
利用 AI 智能体训练 Microduck 等机器人穿越障碍,需要机器人在仿真中感知周围环境、保持平衡并在路径受阻时调整动作。开发这一能力涵盖了构建资产与环境、运用物理仿真对机器人与环境的交互进行建模,以及持续训练与评估等关键阶段。
Ollama 发布 v0.40.10 版本,新增对 NVIDIA Nemotron 3.5 Bolt E4B 模型的支持。该模型基于 Gemma 4 构建,主打快速本地对话、图像理解与工具调用,支持 128K 上下文窗口,并内置用于投机解码的 DFlash draft,用户可通过 `ollama run nemotron-3.5-bolt:e4b` 命令直接运行。
Hugging Face 推出 torch-neuronx model support Space 与对应公开数据集,支持开发者查询 Hub 主流模型在 AWS Trainium2 上的开箱即用兼容性并直接获取运行脚本。
作者通过结合开源项目 Kamaji 与 HAMi 的 mock 设备插件,在单台无物理 GPU 的机器上成功搭建了两个相互隔离的多租户 Kubernetes 集群,并完成 GPU 算力切分调度验证。
Why it matters: 针对无物理硬件时验证集群调度的难题,原文给出了结合托管控制面与显卡模拟插件的完整本地搭建路径。
OpenAI 与波兰 NASK 达成合作,共同开展 AI 安全、保障及相关技术研究。双方旨在通过此次合作强化安全防护措施,支持构建更具韧性的数字生态系统。
vLLM 宣布为 MiniMax-M3.1-Flash 提供首日推理支持,全面适配 NVIDIA Blackwell、Rubin 以及 AMD MI350 系列 GPU。
Why it matters: 原文详述了针对原生低精度稀疏架构在跨硬件平台的算子融合与并行优化细节,为大模型低延迟推理部署提供了可迁移的工程实践参考。
哈萨克斯坦全面推进 AI 算力基础设施落地,Firebird 已获得 45,000 张 NVIDIA Grace Blackwell GPU 的美国出口许可,正联合 Kazakhtelecom 建设首期算力工厂,计划于 2027 年第三季度商业化投产,第二阶段规划将总容量提升至约 500MW。
Why it matters: 哈萨克斯坦通过引入 45,000 张芯片出口许可与 500MW 设施规划,展示了资源型国家将本土能源转化为智算出口的落地路径。