Skip to content
Oct 21Wed
  1. AWS 机器学习64

    利用 AWS Agent Registry 实现智能体工具的运行时动态发现Chinese

    AWS 介绍了利用 AWS Agent Registry 在运行时动态发现并加载工具的架构方案,解决硬编码大量 API 导致的大语言模型上下文膨胀与编排器频繁发版问题。编排器通过自然语言检索经过审核的 MCP 服务与智能体元数据,仅在单次请求生命周期内构建临时客户端并在执行后立即销毁。该方案将注册发现与调用鉴权解耦,元数据不包含凭证,由独立安全通道分别管理权限。

    Why it matters: 文章展示了通过语义检索动态加载 MCP 工具与子智能体的完整链路,为解决企业级多 API 导致的上下文膨胀和频繁发版提供了参考架构。

  2. Microsoft Research28

    微软研究院播客:技术、科研与正面影响力Chinese

    微软研究院 Catalyst Lab 总监 Chris White 在播客中分享了其运用数据分析与技术解决现实危机的经历。他曾任 DARPA 项目经理,在阿富汗实地主导技术行动,并因开发打击人口贩卖的暗网搜索工具而获得 2016 年打击人口贩卖总统奖。他还探讨了问题选择在科研创新中的关键作用,以及如何通过技术研究带来积极的社会影响。

  3. Hugging Face77

    Hugging Face 宣布原生支持 TorchTPU,Transformers 与 Diffusers 可直接在 TPU 运行Chinese

    Hugging Face 宣布通过 TorchTPU 原生支持 Google TPU,Transformers 与 Diffusers 库无需再依赖 PyTorch/XLA 或 Optimum TPU 即可直接运行模型。

    Why it matters: 开发者无需再转换到 JAX 或配置复杂的 XLA 堆栈,使用标准 PyTorch 代码即可直接在 TPU 上部署运行开源模型。

  4. Hugging Face63

    Ai2 发布大语言模型公平性评测基准 FairStressChinese

    Ai2 推出用于评估大语言模型决策人口统计公平性的基准 FairStress,涵盖 29 个领域的 300 个决策场景,现已开放数据与代码下载并接入 Olmo-eval。评测发现,当引入说服性对抗前缀时,主流模型更易放弃偏向优势群体的正确选择而倒向少数群体,出现反刻板印象的过度纠偏现象;研究还指出模型解释与内部激活存在差异,其思维链可能未完全展示影响决策的所有内部表征。

    Why it matters: 该基准通过向决策场景注入对抗前缀,帮助开发者量化检测大语言模型在最终选择背后隐藏的过度纠偏与决策脆弱性。

  5. Google Developers · AI 筛选56

    Google AI Edge Model Explorer 支持自定义边缘编译器可视化图调试Chinese

    Arm 联合 Google AI Edge 为 Model Explorer 推出开源适配器,支持 TOSA、VGF 和 PTE 等中间表示的可视化调试与端侧优化。开发者可利用分屏对比验证 NPU 算子下发与 CPU 回退,并通过节点性能覆盖图直接在计算图上定位周期级硬件耗时瓶颈。相关适配器已在 GitHub 和 PyPI 开源,可配合 LiteRT 与 ExecuTorch 工作流使用。

Oct 20Tue
  1. Hugging Face69

    ALTK-Evolve:无需微调,利用学习记忆让客服智能体登顶 τ²-bench 榜单Chinese

    IBM Research 提出 ALTK-Evolve 方法,通过从智能体历史轨迹中自动提炼行为准则并追加到系统提示词,在不更新模型权重的情况下显著提升客服任务表现。

    Why it matters: 原文给出了无需微调即可从任务轨迹自动提炼操作准则的方法,为强规则业务下的智能体优化提供了实测方案。

  2. Google Developers · AI 筛选72

    Google 推出 TorchTitan TPU 支持,原生适配 PyTorch 大模型训练Chinese

    Google 宣布将 TorchTPU 深度集成至分布式训练套件 TorchTitan,推出支持 Google Cloud TPU 的专用开源分支。该框架引入 SimpleFSDP、全步骤图捕获的 Graph Trainer 及 Pallas 融合算子,使开发者无需重写为 JAX 即可直接在 TPU 上高效训练原生 PyTorch 模型。

    Why it matters: 文章详细拆解了如何通过编译友好设计抹平 PyTorch 与 TPU 的隔阂,为非 JAX 技术栈的大模型分布式训练提供了落地参考。

  3. Google Developers · AI 筛选78

    Google 发布基于 TorchTPU 的原生 vLLM 与 SGLang 推理引擎Chinese

    Google 联合 Inferact 与 RadixArk 推出基于 TorchTPU 的原生 PyTorch 后端,让 vLLM 与 SGLang 能够直接在 TPU 上运行并保留标准 PyTorch 开发调试体验。

    Why it matters: 原文给出了基于 TorchTPU 的原生软硬件协同架构与 KV 缓存管理方案,为开发者在 TPU 上低成本部署开源大模型提供了可落地参考。

  4. DeepSeek 公众号82

    DeepSeek 全面开源内部推理框架 DeepInfer 与编解码组件 deepseek-recipeChinese

    DeepSeek 宣布将其内部推理框架 DeepInfer 全面开源,同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与推理引擎,支持分布式推理、推测解码、SWA Bounded Replay 及结构化输出,兼容英伟达与华为昇腾平台,此前已用于支撑 DeepSeek V4.1 Flash 的大规模推理服务。

    Why it matters: 官方公开了支撑其在线服务的高并发推理框架与编解码组件,为大模型私有化部署和算力降本提供了开箱即用的参考工程。

  5. Cloudflare Blog · 网络基础设施69

    Cloudflare 联合 VoidZero 发布 tsrs:TypeScript 编译器的 Rust 移植版本Chinese

    Cloudflare、VoidZero 与 Max Schwenk 合作推出 tsrs,这是作为 Oxc 工具链一部分孵化的 TypeScript 编译器 Rust 移植版本。

    Why it matters: 项目展示了将大型语言工具链移植至 Rust 并结合 WebAssembly 嵌入沙箱环境的工程路径,为端侧与智能体开发环境构建提供了参考。

  6. Google Developers · AI 筛选65

    Google 发布 Coral NPU 完整 32 位开源架构与 v1.0 编译器Chinese

    Google 宣布完成 32 位 Coral NPU 开源硬件架构并发布 Coral Compiler v1.0。该架构新增矩阵执行单元,支持最高 1 TOPS 算力且平均功耗目标为 10mW,完整 32 位 RTL 已在 GitHub 开源;基于 IREE/MLIR 的编译器可直接将 JAX、PyTorch 和 TensorFlow 模型编译到硬件。

    Why it matters: 原文给出了开源端侧 NPU 架构与基于 IREE 的统一编译栈,开发者可据此评估跨算力平台部署端侧模型的迁移成本。

  7. Hugging Face77

    PyTorch 2.15 升级 Mac MPS 后端:支持 FP8 并大幅优化 MoE 解码与视频生成Chinese

    PyTorch 2.15 对苹果芯片的 MPS 后端进行重构,新增 FP8 数据类型支持,并通过专用 Metal 算子替代 MPSGraph 大幅优化大语言模型解码与多模态负载。

    Why it matters: 原文详细展示了通过专用 Metal 算子替代图编译器来解决苹果芯片显存暴涨与算力瓶颈的具体路径,可供端侧优化参考。

  8. Cerebras 官方博客(网页)59

    更聪明的模型无法挽救糟糕的 Harness:Cerebras 解析智能体系统工程Chinese

    Cerebras 发文指出智能体基准测试表现实际上取决于模型与 Harness(脚手架系统)的组合,单靠提高模型智商无法弥补低劣的系统工程。Harness 负责提示词构建、上下文管理、工具调度、循环控制与验证,对执行路径和结果质量具有决定性影响。

  9. AWS 机器学习68

    亚马逊云科技 SageMaker Studio 支持第三方账号快速注册与接入Chinese

    AWS 推出全新的 SageMaker Studio 快速接入体验,新用户可直接使用 Google、GitHub、Apple 或 Amazon 账号在 2 至 3 步内完成注册并进入预配置环境。

    Why it matters: 原文给出了第三方账号直登流程与免费额度细节,读者可以据此评估在云端快速验证与部署模型的门槛变化。

  10. AWS 机器学习39

    Amazon SageMaker JumpStart:2026 年迄今进展回顾Chinese

    Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月期间接入了来自 30 家提供商的 100 多款新模型。新增阵容涵盖阿里巴巴千问(Qwen)、NVIDIA、Mistral 等厂商,重点覆盖多模态、物理世界模型及轻量量化模型。用户可通过控制台、Python SDK 或 Hugging Face 深度链接实现一键部署与微调。

  11. vLLM 官方博客(网页)76

    vLLM 引入 NIXL EP 实现弹性专家并行近零停机扩缩容Chinese

    vLLM 推出基于 NIXL EP 的弹性专家并行(Elastic EP)方案,在 DeepSeek V4 Pro 评测中将 16 至 20 块 GB200 GPU 的扩容停服时间降至 0.82 秒、缩容停服时间降至 1.96 秒。

    Why it matters: 原文给出了通过通信组原位更新与 CUDA Graph 复用解决 MoE 动态扩缩容停机痛点的完整工程方案,适合推理部署架构师参考。

  12. Google Infrastructure32

    Google 合作加强阿肯色州电网基础设施并支持当地社区Chinese

    Google 宣布投资阿肯色州新能源与电网基础设施,并通过 2500 万美元的西孟菲斯能源影响基金发放首笔 125 万美元赠款。该资助将支持当地 10 家非营利及市政机构,用于提升清洁能源普及率、降低居民公用事业成本并提供职业技能培训。此外,Google 正持续深化与 Entergy Arkansas 的合作,以增强当地电力系统。

  13. NVIDIA · AI 筛选63

    德国政府与 NVIDIA 达成工业 AI 战略合作并宣布投资四家本土初创企业Chinese

    德国联邦政府与 NVIDIA 签署联合意向声明,共同推进物理 AI 前沿模型研发,加速德国中小型制造企业与传统工业的数字化转型。黄仁勋宣布计划向敏捷机器人 Agile Robots、Avelios Medical、Mirelo 和 Reflex Aerospace 四家德国初创企业追加投资,属于其在欧洲近 $10B 承诺的一部分。

    Why it matters: 德国政府通过与芯片厂商合作推进工业智能体与物理 AI,展现了传统制造强国将产业数据与算力结合的落地路径。

  14. Cloudflare Blog · 网络基础设施75

    Cloudflare 将 AI 代码审查推理成本降低 68% 的工程优化实践Chinese

    Cloudflare 宣布通过系统性工程优化与模型调优,将其内部 AI 代码审查工具的单次审查成本从 2.43 美元降至 0.77 美元(降幅 68%),中位耗时从 4 分 09 秒压缩至 1 分 32 秒。

    Why it matters: 详细拆解了跨仓库前缀缓存与调用轮次压缩的具体做法,为生产级智能体系统的推理降本提供了实证参考。

  15. GitHub Blog · AI 与安全63

    如何在 VS Code 中继续 GitHub Copilot 应用的会话Chinese

    GitHub Copilot 支持将独立应用中的会话直接导入 VS Code 继续开发,无缝保留任务计划、对话上下文、代码 diff 与关联工作树。开发者可在 VS Code 中逐行审查智能体生成的改动、继续在侧边栏追问或下达新指令,并支持手动微调与本地运行测试。确认修改后可通过集成终端直接提交并推送到关联的 Pull Request,无需手动同步文件或重建分支。

    Why it matters: 提供了从独立智能体应用平滑交接回本地编辑器的工作流指引,便于开发者在保留完整上下文的前提下做人工审查与微调。

  16. Google Developers · AI 筛选66

    Google 发布 LiteRT Tensor API 支持原生 C++ 构建端侧模型计算图Chinese

    Google 宣布推出 LiteRT Tensor API,为端侧模型开发提供轻量级原生 C++ 计算图构建层,支持在 CPU、GPU 与 NPU 间跨平台运行。

    Why it matters: 原文给出了原生构建计算图与零拷贝缓冲区的实现细节,开发者可据此评估跨硬件部署与端侧全流水线优化的工程可行性。

  17. Google Developers · AI 筛选71

    Google 发布 ADK 语音 Agent 教程:基于 Gemini 3.8 Live 构建永不静音的实时语音助手Chinese

    Google 官方发布指南,演示如何利用 Agent Development Kit(ADK)与 gemini-3.8-live 构建避免语音中断的实时语音 Agent。

    Why it matters: 教程展示了如何通过流式工具与响应调度消除语音交互静音,为长耗时调用的实时语音开发提供了可落地的架构范式。

  18. vLLM 官方博客(网页)76

    vLLM 推出 Elastic EP 近零停机弹性扩缩容机制Chinese

    vLLM 推出结合异步准备与定制通信库 NIXL EP 的 Elastic EP 近零停机扩缩容方案,将专家并行部署的重配置中断时间降至秒级。在 GB200 硬件运行 DeepSeek V4 Pro 的基准测试中,16 块 GPU 扩容至 20 块 GPU 的停机时间由 99.62 秒缩短至 0.82 秒,缩容至 16 块 GPU 的停机时间降至 1.96 秒。

    Why it matters: 技术方案展示了如何在保持现有推理请求不中断的前提下完成动态增减卡,为大模型在线弹性扩缩容提供了工程参考。

  19. Azure Blog · 云基础设施32

    Microsoft 与 Intel 设计主权 AI:构建从边缘到云端的共享基础Chinese

    Microsoft 与 Intel 合作构建从边缘到云端的主权 AI 技术基础,让机构能在合规与受控环境中灵活部署敏感 AI 工作负载。双方依托搭载 Intel Xeon 6 处理器的 Azure Local 延伸基础设施,并借助 Intel TDX 硬件隔离与证明技术强化机密计算安全。结合 Foundry Local,企业可直接在本地就近运行 AI 推理。

  20. Transformers 更新31

    Transformers 发布补丁版本 v5.20.2Chinese

    Transformers 发布 v5.20.2 补丁版本,重点修复了 `generate` 函数在 `prepare_inputs_for_generation` 阶段导致输入丢失原始类型并影响多模态模型的问题。该版本还解决了专家并行下 `bfloat16` 专家梯度为零的缺陷,补齐了部分 VLM 的输入模态声明,并消除了 `eager_mask` 中的主机到设备复制。