本文へスキップ
10月13日火
  1. Ollama 更新32

    Ollama v0.40.4-rc1 发布:为 MLX 引入 Kev 决策评分中国語

    Ollama 发布 v0.40.4-rc1 预发布版本,为 MLX 增加了 Kev 决策评分。该版本将 llama.cpp 更新至 b11521 以支持决策模型与 EmbeddingGemma 2,并在推理路由中复用已验证的清单与已加载模型。此外,更新还压缩了投机回滚后恢复的循环状态,并在 Codex /model 选择器中纳入已安装模型。

  2. Apple Machine Learning Research54

    Apple 与约翰斯·霍普金斯大学提出自适应上下文压缩框架 SELFCOMPACT中国語

    Apple 与约翰斯·霍普金斯大学的研究人员提出 SELFCOMPACT 框架,让语言模型智能体无需微调或外部监督即可自主决定何时及如何压缩上下文。该方法结合了供模型调用的上下文摘要工具与规定触发和抑制时机的轻量级规则,避免固定 token 阈值触发器在推导或搜索中途丢弃部分结果。

  3. Apple Machine Learning Research43

    Minions:基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云中国語

    研究人员提出了 Minions,一个聚合 macOS 设备上闲置 Apple Silicon GPU 的动态分布式虚拟 GPU 云,用于执行大规模机器学习推理任务。该系统让团队无需额外采购 GPU 即可利用现有硬件,并具备灵活的任务执行、容错与高效资源利用能力,可应对集中式 GPU 资源受限的挑战。

  4. Apple Machine Learning Research38

    大语言模型用于机器翻译质量标注:人类与模型均面临挑战中国語

    研究人员针对 MQM 与 ESA 两种主流机器翻译质量评估体系,测试了大语言模型(LLM)与人类标注者的一致性。基于包含 70 个语言对的长上下文测试集以及 WMT23 和 WMT25 公开数据,结果显示 LLM 在部分任务中与人类的一致性超过人类之间的一致性,但在多数场景下依然不够可靠。

  5. Engineering at Meta80

    Meta 在 OCP 2026 发布下一代 AI 网络基础设施方案,涵盖液冷机柜与 102.4T 交换机中国語

    Meta 在 OCP 2026 全球峰会上推出首款液冷网络机柜 IcePack 及 102.4T 交换机 IceCube,并开源了 MetaRoCE 传输协议。

    推薦理由:Meta 披露了从液冷网络机柜到跨区域聚合的完整以太网架构,为吉瓦级智算集群的基础设施解耦提供了工程参考。

  6. vLLM 官方博客(网页)72

    vLLM 引入双向 KV 缓存传输机制以降低多轮智能体首字延迟中国語

    vLLM 在分离式推理架构中支持双向 KV 缓存传输,允许 prefill 节点在多轮对话中直接复用 decode 节点留存的上下文缓存,显著消除重复计算并降低首字延迟(TTFT)。

    推薦理由:原文详解了分离式推理下双向传输上下文缓存的控制流与阈值配置,读者可以据此优化长会话智能体的首字延迟。

  7. AWS 机器学习60

    Amazon Bedrock 支持在亚太多地通过跨区域推理访问 OpenAI GPT-6 系列模型中国語

    Amazon Bedrock 现支持泰国、马来西亚、新加坡、印度尼西亚和中国台湾等亚太区域通过全局跨区域推理调用 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra。

    推薦理由:原文给出了在亚太区域通过跨区域推理调用大模型的权限配置与监控方案,为受限于单区域算力配额的团队提供了落地参考。

  8. Ollama 更新30

    Ollama v0.40.4-rc0 发布中国語

    Ollama 发布 v0.40.4-rc0 预发布版本,将 llama.cpp 升级至 b11521,支持决策模型与 EmbeddingGemma 2。服务端在推理路由中复用已验证的 manifests 和已加载模型,并在投机回退后压缩恢复的循环状态。新版本还升级了 MLX 和 MLX-C 版本,并在 Codex 的 /model 选择器中纳入已安装模型。

  9. Engineering at Meta68

    Meta 架构实战:利用碎片化闲置 AI 推理算力优化广告推荐中国語

    Meta 构建了一套利用集群中局部闲置推理算力提升广告推荐效果的弹性系统。系统通过两大互补杠杆动态调节负载:Rank More Ads(RMA)在算力充裕时增加各排序阶段评估的广告候选量,Serve Better Models(SBM)则将更多高价值请求路由至更复杂的深度模型。

    推薦理由:原文详解了利用闲置算力提升推荐质量的弹性杠杆与隔离机制,为大规模异构算力集群调度提供了可迁移的工程参考。

  10. GitHub Blog · AI 与安全66

    GitHub Copilot 初学者指南:如何让 Copilot 学习你的代码库中国語

    GitHub 官方介绍了让 GitHub Copilot 理解并遵循项目代码库规则的四种定制化方法。开发者可通过仓库指令文件传递全局与特定路径代码规范,利用技能文件夹封装质检等可复用流程,并在 agents 目录配置专用智能体处理复杂任务;同时还能接入 MCP 服务挂载 Playwright 等外部工具,实现自动化的浏览器交互验证。

    推薦理由:原文系统梳理了从基础指令到技能包与外部工具的四层定制路径,读者可借此建立规范化配置自身代码库上下文的实操框架。

  11. Microsoft Research49

    微软研究院提出 StudentSim:通过模拟学生学习过程优化 AI 导师中国語

    微软研究院推出研究系统 StudentSim,通过模拟真实学生的答题表现及接受辅导后的反馈,用于在真实教学测试前评估和优化 AI 导师。该研究基于公开去标识化数据采用两阶段训练,并提出评测基准 StudentSimEval。实验显示,StudentSim 在国际象棋、二语英语写作和数学领域均超越基线模型,有效提供了训练 AI 导师的反馈信号。

  12. AWS 机器学习53

    在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型中国語

    AWS 介绍了在 Amazon SageMaker AI 上利用专用 llama.cpp 深度学习容器(DLC)部署量化决策模型的方法。该方案除支持 OpenAI 兼容文本生成接口外,还能通过 SemIf 扩展直接提取末位 logits 输出候选选项的概率分布,避免生成文本 token 的开销。

  13. NVIDIA Developer Blog36

    ReplaySSM:重新审视状态存储以加速混合模型解码中国語

    ReplaySSM 通过重新思考状态存储机制来加速混合模型的解码过程。混合模型将状态空间模型(SSM)层与少量注意力层交替结合,涵盖 NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash 等架构。这类模型采用 Mamba-2、GDN 或 KDA 作为 SSM 层,利用固定大小状态替代随序列增长的 KV cache,以提升解码速度。

10月12日月
  1. NVIDIA · AI 筛选82

    NVIDIA 在 OCP 峰会开源 Vera Rubin 架构并发布 AI 数据中心基础设施标准中国語

    NVIDIA 在 OCP 全球峰会上通过 MGX 架构向社区贡献了 Vera Rubin 机架及计算托盘设计,并与多家超大规模厂商联合发布下一代 AI 工厂基础设施规范。

    推薦理由:材料公开了面向高密度集群的机柜散热与供电设计标准,为规划下一代大规模智算基础设施提供了工程参考。

  2. AWS Architecture43

    基于 AWS HealthOmics 与 Amazon Bedrock AgentCore 的智能体抗菌素耐药性监测中国語

    AWS 推出基于 AWS HealthOmics 与 Amazon Bedrock AgentCore 的抗菌素耐药性监测架构,支持研究人员用自然语言直接查询耐药基因。该方案通过 Nextflow 工作流自动完成原始测序数据的组装与检测,将结果存入 Apache Iceberg 表,并由 Bedrock 智能体转换为 SQL 查询,全套架构支持通过 AWS CDK 单命令部署。

  3. Azure Blog · 云基础设施82

    微软详解 Azure Maia 300 架构:面向 Agent 推理的芯片与机柜系统中国語

    微软公布第三代自研 AI 推理芯片系统 Azure Maia 300 的架构细节,通过软硬件、网络及数据中心全栈协同优化 Agent 推理负载。Maia 300 计算核心采用台积电 N2P 制程,配备 8 组 HBM4 堆叠并提供 288 GB 容量与 18 TB/s 带宽,引入 NUMA 架构及增强 MXFP4 格式。

    推薦理由:文章拆解了从芯片到机柜的全栈协同设计,读者可以了解软硬件一体架构如何应对长上下文与智能体推理的能效瓶颈。

  4. 阶跃 StepFun 公众号46

    阶跃星辰 Step 5 Preview 上线腾讯 WorkBuddy 并开启独家限免中国語

    阶跃星辰 Step 5 Preview 正式上线腾讯全场景 AI 办公工作台 WorkBuddy,支持通过自然语言指令自主拆解任务与调用工具。该模型覆盖深度研究、信息检索、数据分析、文档与 PPT 生成等多步骤办公场景,具备更强的推理与 Agent 能力。2026 年 10 月 12 日至 10 月 25 日期间,Step 5 Preview 在 WorkBuddy 开启独家限免。

  5. CNCF Blog66

    在本地笔记本运行 kagent 构建智能体生成器实践指南中国語

    CNCF 沙箱项目 kagent 演示了在本地利用 kind 集群与 Ollama 搭建能够通过自然语言生成并部署新智能体的“Agent Builder”。该方案将智能体作为 Kubernetes 自定义资源进行管理,使用 qwen3-coder:30b-a3b 模型解析意图并输出标准清单。

    推薦理由:文章展示了将智能体定义为 Kubernetes 原生资源的方法,并给出结合工具白名单、审批机制与 RBAC 的三层防护实践。

10月11日日
  1. Ollama 更新32

    Ollama v0.40.3-rc0 发布中国語

    Ollama 发布 v0.40.3-rc0 预发布版本,暂停了后台模型升级机制,以消除高并发场景(如嵌入向量请求)中每次请求带来的额外开销。新版本还优化了命令行提示,运行 ollama launch claude 时不再显示 Claude 连接器警告,运行 ollama launch codex 时也不再提示服务层级警告。

10月10日土
  1. vLLM 官方博客(网页)76

    vLLM 适配 NVIDIA Vera Rubin NVL72,单 GPU 吞吐达 GB200 的 7.8 倍中国語

    vLLM 宣布正式支持 NVIDIA Vera Rubin NVL72 平台,在 AgentX 基准测试运行 MiniMax M3 时实现 GB200 NVL72 单 GPU 吞吐量 7.8 倍的提升。

    推薦理由:文章公布了面向 Rubin 架构的局部性域 MoE 优化与实测数据,便于开发者评估新硬件在 Agent 推理场景下的吞吐收益。

  2. LangChain 官方博客74

    LangChain 详解如何在智能体 Harness 中构建模型路由器中国語

    LangChain 介绍了在其开源编码智能体 Open SWE 的 Harness 中构建模型路由器的实践,在保持 PR 合并率无显著差异的前提下将每线程中位数成本降低了 64%。系统通过分类器将请求匹配至 GLM-5.3-Flash、GPT-5.6 Sol 与 GPT-6 Astra 三档模型,并在首条消息触发时由中间件完成决策;官方现已推出配套的模型路由中间件供开发者直接调用。

    推薦理由:文章拆解了编码智能体按任务复杂度动态分发模型的落地流程,为面临高调用成本的团队提供了可复用的中间件设计方法。

  3. LangChain 官方博客45

    如何通过 Managed Deep Agents 构建出色的开箱即用体验中国語

    Managed Deep Agents 在 v0.9 版本推出全新的 agent reactions SDK 与 API,支持在 Slack 渠道中动态分配 Emoji 回复,以改善智能体执行任务时的等待与加载状态体验。开发者可结合 LangChain 的 TypeSafe Classifier 与 Jev 等决策模型,依据上下文及置信度阈值自动匹配预设或自定义 Emoji。

  4. Cloudflare Blog · 网络基础设施70

    Cloudflare 发布全模态决策模型 Clef-omni 并下调 Clef-flash 价格中国語

    Cloudflare 正式发布开源权重决策模型 Clef-omni,并针对 Clef 系列实施降价与推理加速。Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 架构构建,支持在单次 API 中联合输入文本、图像、音频与视频直接完成决策评分,已在 Hugging Face 开源权重并以 $0.15 per M input tokens 上线。

    推薦理由:该模型将音视频与图文直接纳入统一决策评分,读者可以参考其免除转写流水线的单次调用方案。

  5. GitHub Blog · AI 与安全19

    为什么黑客松依然是学习构建的最佳场所中国語

    黑客松通过约两天的集中协作与高强度实战,成为开发者将创意转化为可用原型、掌握新技能的核心场所。在 GitHub Copilot 等 AI 工具的辅助下,非计算机专业背景的参与者也能使用自然语言在 30 分钟内完成前端构建与 API 对接。这种允许自由试错的开放环境,为不同背景的人群提供了低门槛实践、技能进阶与协作创新的空间。

10月9日金
  1. Hugging Face67

    Ai2 改造 GPU 集群调度架构:引入时间预算与分片契约解决资源争抢中国語

    Ai2 基础设施团队将其 GPU 集群调度器改造为基于时间预算、层级公平份额与调度契约的全新系统,以解决多团队争抢算力时的占坑与优先级膨胀问题。新方案通过设定最小运行时保障和自动时间分片,在集群占用率保持 98% 的同时,将调试作业 p90 排队时间从 2 小时缩短至 30 秒。此外,不健康节点的自动排空机制使需要人工介入的运维修复工作减少了 74%。

    推薦理由:文章详细复盘了大规模 GPU 集群中解决占坑与优先级通胀的调度改造方案,提供了可迁移的预算分片设计经验。

  2. AWS 机器学习63

    Postman 如何基于 Amazon Bedrock 为 4000 万开发者运行 Agent Mode中国語

    Postman 联合 AWS 详解了其面向 4000 万开发者运行 Agent Mode 的架构设计与工程实践,重点解决成熟产品中工具泛滥与上下文瓶颈问题。系统通过向量检索将 170 多个工具动态裁剪至当前任务所需的约 15 个,并采用基于 ClickHouse Schema 的结构化查询引擎替代单一读取工具。

    推薦理由:原文系统梳理了将 AI 智能体集成到成熟复杂产品时的工具动态剪裁、Schema 直读与分层 Prompt 缓存架构实践。

  3. Azure Blog · 云基础设施60

    微软 Azure 解析 AI 基础设施全生命周期转型:从供应链到集群运维中国語

    微软 Azure 披露了如何在其覆盖 80 多个区域、500 多个数据中心园区的硬件全生命周期中应用 AI 智能体与闭环学习系统。在需求规划中引入多 Agent 工作流后,原本需要 5 到 7 个工作日的工作缩短至数小时甚至 20 分钟内,部分流程周期时间缩短达 75%;智能助手还使机架交付受阻的排查时间减少了 55%。

    推薦理由:原文给出了微软在云基建中落地智能体的数据指标与流程再造方法,读者可以据此参考大型算力系统的端到端提效路径。

  4. Vertiv 官方新闻26

    Vertiv 公布北美合作伙伴奖获奖名单,表彰 AI 就绪基础设施与客户落地成果中国語

    Vertiv 公布 2025 北美合作伙伴奖获奖名单,表彰 11 家在关键数字基础设施与高密度 AI 环境部署中表现突出的渠道伙伴。其中 World Wide Technology(WWT)获评年度最佳合作伙伴,NVIDIA 与 Dell Technologies 分别斩获年度联盟伙伴与企业级伙伴奖项。Vertiv 依托合作伙伴计划推动涵盖 UPS、散热冷却、PDU 及机柜等全套方案落地。

  5. CNCF Blog29

    参加 KubeCon + CloudNativeCon 北美 2026 平台工程日中国語

    KubeCon + CloudNativeCon 北美 2026 将于 2026 年 11 月 9 日在盐湖城举办平台工程日(Platform Engineering Day)全天活动。会议将重点探讨 AI 与平台工程、智能体作为平台的生产者与消费者、平台即产品及合规等核心议题。活动设置主题演讲、闪电演讲与圆桌讨论,下午将分为两个分会场展开技术交流。

  6. LangChain 官方博客57

    Snyk 如何将内部支持智能体打造为核心客户功能中国語

    Snyk 复盘了如何利用 LangChain、LangGraph 和 LangSmith,将内部支持工具 Snyk Assist 逐步演进为面向全量付费客户的核心产品功能。架构上采用单一 LangGraph 运行时支撑多端接入,通过用户权限动态注册工具微服务,并利用中间件统一管理上下文、护栏与模型回退。上线后系统已处理超过 60,000 次查询,超过 85% 的会话无需人工提交工单即可化解。