本文へスキップ

すべての記事

今日 25 件
10月21日水
  1. Hugging Face77

    Hugging Face 宣布原生支持 TorchTPU，Transformers 与 Diffusers 可直接在 TPU 运行中国語

    Hugging Face 宣布通过 TorchTPU 原生支持 Google TPU，Transformers 与 Diffusers 库无需再依赖 PyTorch/XLA 或 Optimum TPU 即可直接运行模型。

    推薦理由：开发者无需再转换到 JAX 或配置复杂的 XLA 堆栈，使用标准 PyTorch 代码即可直接在 TPU 上部署运行开源模型。

  2. Hugging Face63

    Ai2 发布大语言模型公平性评测基准 FairStress中国語

    Ai2 推出用于评估大语言模型决策人口统计公平性的基准 FairStress，涵盖 29 个领域的 300 个决策场景，现已开放数据与代码下载并接入 Olmo-eval。评测发现，当引入说服性对抗前缀时，主流模型更易放弃偏向优势群体的正确选择而倒向少数群体，出现反刻板印象的过度纠偏现象；研究还指出模型解释与内部激活存在差异，其思维链可能未完全展示影响决策的所有内部表征。

    推薦理由：该基准通过向决策场景注入对抗前缀，帮助开发者量化检测大语言模型在最终选择背后隐藏的过度纠偏与决策脆弱性。

  3. Google Developers · AI 筛选56

    Google AI Edge Model Explorer 支持自定义边缘编译器可视化图调试中国語

    Arm 联合 Google AI Edge 为 Model Explorer 推出开源适配器，支持 TOSA、VGF 和 PTE 等中间表示的可视化调试与端侧优化。开发者可利用分屏对比验证 NPU 算子下发与 CPU 回退，并通过节点性能覆盖图直接在计算图上定位周期级硬件耗时瓶颈。相关适配器已在 GitHub 和 PyPI 开源，可配合 LiteRT 与 ExecuTorch 工作流使用。

  4. AWS 机器学习57

    在 AWS 上结合 AtScale 与 Amazon Bedrock AgentCore 为智能体构建语义层中国語

    AWS 与 AtScale 联合介绍了结合 AtScale 与 Amazon Bedrock AgentCore 为智能体 AI 构建语义层的架构实践。该方案通过基于 YAML 的开源 SML 进行多维建模并纳入 Git 版本控制，借助 AtScale 的 MCP 服务器将模型与指标统一暴露给 Bedrock 上的 Strands 智能体。

  7. AWS 机器学习52

    Eon 基于 Amazon Bedrock AgentCore 构建多云 MCP 网关实践中国語

    Eon 通过部署 Amazon Bedrock AgentCore MCP Gateway，将跨 AWS、GCP 与 Azure 的分散凭证和本地 MCP 进程整合为统一网关。该架构利用 Cedar 策略控制人与自主 Agent 的最小调用权限，将新工程师的工具接入配置时间从 2 天压缩至 2 分钟，并已承载 100 多名开发者与约 10,000 次会话。

10月20日火
  1. Hugging Face69

    ALTK-Evolve：无需微调，利用学习记忆让客服智能体登顶 τ²-bench 榜单中国語

    IBM Research 提出 ALTK-Evolve 方法，通过从智能体历史轨迹中自动提炼行为准则并追加到系统提示词，在不更新模型权重的情况下显著提升客服任务表现。

    推薦理由：原文给出了无需微调即可从任务轨迹自动提炼操作准则的方法，为强规则业务下的智能体优化提供了实测方案。

  2. Google Developers · AI 筛选72

    Google 推出 TorchTitan TPU 支持，原生适配 PyTorch 大模型训练中国語

    Google 宣布将 TorchTPU 深度集成至分布式训练套件 TorchTitan，推出支持 Google Cloud TPU 的专用开源分支。该框架引入 SimpleFSDP、全步骤图捕获的 Graph Trainer 及 Pallas 融合算子，使开发者无需重写为 JAX 即可直接在 TPU 上高效训练原生 PyTorch 模型。

    推薦理由：文章详细拆解了如何通过编译友好设计抹平 PyTorch 与 TPU 的隔阂，为非 JAX 技术栈的大模型分布式训练提供了落地参考。

  3. Google Developers · AI 筛选78

    Google 发布基于 TorchTPU 的原生 vLLM 与 SGLang 推理引擎中国語

    Google 联合 Inferact 与 RadixArk 推出基于 TorchTPU 的原生 PyTorch 后端，让 vLLM 与 SGLang 能够直接在 TPU 上运行并保留标准 PyTorch 开发调试体验。

    推薦理由：原文给出了基于 TorchTPU 的原生软硬件协同架构与 KV 缓存管理方案，为开发者在 TPU 上低成本部署开源大模型提供了可落地参考。

  4. DeepSeek 公众号82

    DeepSeek 全面开源内部推理框架 DeepInfer 与编解码组件 deepseek-recipe中国語

    DeepSeek 宣布将其内部推理框架 DeepInfer 全面开源，同步开源生产级 Token 编解码组件 deepseek-recipe。DeepInfer 集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay 及结构化输出，兼容英伟达与华为昇腾平台，此前已用于支撑 DeepSeek V4.1 Flash 的大规模推理服务。

    推薦理由：官方公开了支撑其在线服务的高并发推理框架与编解码组件，为大模型私有化部署和算力降本提供了开箱即用的参考工程。

  5. Hugging Face63

    Hugging Face 发布 AnyLanguageModel 1.0，统一苹果平台本地与托管模型接入中国語

    Hugging Face 正式推出 AnyLanguageModel 1.0 以及配套的 swift-huggingface 1.0 和 swift-xet 1.0，作为苹果 Foundation Models 框架的直接替代方案。

    推薦理由：该版本让苹果平台开发者只需替换导入语句，就能以统一接口自由切换端侧推理与云端托管模型。

  6. Cloudflare Blog · 网络基础设施69

    Cloudflare 联合 VoidZero 发布 tsrs：TypeScript 编译器的 Rust 移植版本中国語

    Cloudflare、VoidZero 与 Max Schwenk 合作推出 tsrs，这是作为 Oxc 工具链一部分孵化的 TypeScript 编译器 Rust 移植版本。

    推薦理由：项目展示了将大型语言工具链移植至 Rust 并结合 WebAssembly 嵌入沙箱环境的工程路径，为端侧与智能体开发环境构建提供了参考。

  7. Google Developers · AI 筛选65

    Google 发布 Coral NPU 完整 32 位开源架构与 v1.0 编译器中国語

    Google 宣布完成 32 位 Coral NPU 开源硬件架构并发布 Coral Compiler v1.0。该架构新增矩阵执行单元，支持最高 1 TOPS 算力且平均功耗目标为 10mW，完整 32 位 RTL 已在 GitHub 开源；基于 IREE/MLIR 的编译器可直接将 JAX、PyTorch 和 TensorFlow 模型编译到硬件。

    推薦理由：原文给出了开源端侧 NPU 架构与基于 IREE 的统一编译栈，开发者可据此评估跨算力平台部署端侧模型的迁移成本。

  9. Hugging Face77

    PyTorch 2.15 升级 Mac MPS 后端：支持 FP8 并大幅优化 MoE 解码与视频生成中国語

    PyTorch 2.15 对苹果芯片的 MPS 后端进行重构，新增 FP8 数据类型支持，并通过专用 Metal 算子替代 MPSGraph 大幅优化大语言模型解码与多模态负载。

    推薦理由：原文详细展示了通过专用 Metal 算子替代图编译器来解决苹果芯片显存暴涨与算力瓶颈的具体路径，可供端侧优化参考。

  10. AWS 机器学习76

    Amazon Bedrock 支持 Anthropic Claude 模型结构化输出功能中国語

    Amazon Bedrock 正式为所有 Anthropic Claude 模型上线结构化输出功能，支持 bedrock-runtime 与 bedrock-mantle 端点。

    推薦理由：Bedrock 通过语法编译缓存与约束解码在生成期保证 JSON 契约，为大模型落地生产环境的数据解析和智能体工具调用消除重试开销。

  12. Cerebras 官方博客（网页）59

    更聪明的模型无法挽救糟糕的 Harness：Cerebras 解析智能体系统工程中国語

    Cerebras 发文指出智能体基准测试表现实际上取决于模型与 Harness（脚手架系统）的组合，单靠提高模型智商无法弥补低劣的系统工程。Harness 负责提示词构建、上下文管理、工具调度、循环控制与验证，对执行路径和结果质量具有决定性影响。

  13. AWS 机器学习68

    亚马逊云科技 SageMaker Studio 支持第三方账号快速注册与接入中国語

    AWS 推出全新的 SageMaker Studio 快速接入体验，新用户可直接使用 Google、GitHub、Apple 或 Amazon 账号在 2 至 3 步内完成注册并进入预配置环境。

    推薦理由：原文给出了第三方账号直登流程与免费额度细节，读者可以据此评估在云端快速验证与部署模型的门槛变化。

  14. AWS 机器学习39

    Amazon SageMaker JumpStart：2026 年迄今进展回顾中国語

    Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月期间接入了来自 30 家提供商的 100 多款新模型。新增阵容涵盖阿里巴巴千问（Qwen）、NVIDIA、Mistral 等厂商，重点覆盖多模态、物理世界模型及轻量量化模型。用户可通过控制台、Python SDK 或 Hugging Face 深度链接实现一键部署与微调。

  16. vLLM 官方博客（网页）76

    vLLM 引入 NIXL EP 实现弹性专家并行近零停机扩缩容中国語

    vLLM 推出基于 NIXL EP 的弹性专家并行（Elastic EP）方案，在 DeepSeek V4 Pro 评测中将 16 至 20 块 GB200 GPU 的扩容停服时间降至 0.82 秒、缩容停服时间降至 1.96 秒。

    推薦理由：原文给出了通过通信组原位更新与 CUDA Graph 复用解决 MoE 动态扩缩容停机痛点的完整工程方案，适合推理部署架构师参考。

  17. Google Infrastructure32

    Google 合作加强阿肯色州电网基础设施并支持当地社区中国語

    Google 宣布投资阿肯色州新能源与电网基础设施，并通过 2500 万美元的西孟菲斯能源影响基金发放首笔 125 万美元赠款。该资助将支持当地 10 家非营利及市政机构，用于提升清洁能源普及率、降低居民公用事业成本并提供职业技能培训。此外，Google 正持续深化与 Entergy Arkansas 的合作，以增强当地电力系统。

  18. NVIDIA · AI 筛选63

    德国政府与 NVIDIA 达成工业 AI 战略合作并宣布投资四家本土初创企业中国語

    德国联邦政府与 NVIDIA 签署联合意向声明，共同推进物理 AI 前沿模型研发，加速德国中小型制造企业与传统工业的数字化转型。黄仁勋宣布计划向敏捷机器人 Agile Robots、Avelios Medical、Mirelo 和 Reflex Aerospace 四家德国初创企业追加投资，属于其在欧洲近 $10B 承诺的一部分。

    推薦理由：德国政府通过与芯片厂商合作推进工业智能体与物理 AI，展现了传统制造强国将产业数据与算力结合的落地路径。

  19. Cloudflare Blog · 网络基础设施75

    Cloudflare 将 AI 代码审查推理成本降低 68% 的工程优化实践中国語

    Cloudflare 宣布通过系统性工程优化与模型调优，将其内部 AI 代码审查工具的单次审查成本从 2.43 美元降至 0.77 美元（降幅 68%），中位耗时从 4 分 09 秒压缩至 1 分 32 秒。

    推薦理由：详细拆解了跨仓库前缀缓存与调用轮次压缩的具体做法，为生产级智能体系统的推理降本提供了实证参考。

  20. GitHub Blog · AI 与安全63

    如何在 VS Code 中继续 GitHub Copilot 应用的会话中国語

    GitHub Copilot 支持将独立应用中的会话直接导入 VS Code 继续开发，无缝保留任务计划、对话上下文、代码 diff 与关联工作树。开发者可在 VS Code 中逐行审查智能体生成的改动、继续在侧边栏追问或下达新指令，并支持手动微调与本地运行测试。确认修改后可通过集成终端直接提交并推送到关联的 Pull Request，无需手动同步文件或重建分支。

    推薦理由：提供了从独立智能体应用平滑交接回本地编辑器的工作流指引，便于开发者在保留完整上下文的前提下做人工审查与微调。

  21. Hugging Face71

    Hugging Face 原生支持 AWS Trainium：TorchNeuron 插件开启公测中国語

    Hugging Face 宣布旗下 Transformers、Diffusers 等核心库原生支持基于 AWS Trainium 的 TorchNeuron 插件。

    推薦理由：原文展示了从专用封装转向原生后端的具体代码，有助于评估在非英伟达硬件上迁移训练与推理的工程成本。

  22. Google Developers · AI 筛选66

    Google 发布 LiteRT Tensor API 支持原生 C++ 构建端侧模型计算图中国語

    Google 宣布推出 LiteRT Tensor API，为端侧模型开发提供轻量级原生 C++ 计算图构建层，支持在 CPU、GPU 与 NPU 间跨平台运行。

    推薦理由：原文给出了原生构建计算图与零拷贝缓冲区的实现细节，开发者可据此评估跨硬件部署与端侧全流水线优化的工程可行性。

  23. Google Developers · AI 筛选71

    Google 发布 ADK 语音 Agent 教程：基于 Gemini 3.8 Live 构建永不静音的实时语音助手中国語

    Google 官方发布指南，演示如何利用 Agent Development Kit（ADK）与 gemini-3.8-live 构建避免语音中断的实时语音 Agent。

    推薦理由：教程展示了如何通过流式工具与响应调度消除语音交互静音，为长耗时调用的实时语音开发提供了可落地的架构范式。

  24. vLLM 官方博客（网页）76

    vLLM 推出 Elastic EP 近零停机弹性扩缩容机制中国語

    vLLM 推出结合异步准备与定制通信库 NIXL EP 的 Elastic EP 近零停机扩缩容方案，将专家并行部署的重配置中断时间降至秒级。在 GB200 硬件运行 DeepSeek V4 Pro 的基准测试中，16 块 GPU 扩容至 20 块 GPU 的停机时间由 99.62 秒缩短至 0.82 秒，缩容至 16 块 GPU 的停机时间降至 1.96 秒。

    推薦理由：技术方案展示了如何在保持现有推理请求不中断的前提下完成动态增减卡，为大模型在线弹性扩缩容提供了工程参考。

  25. Azure Blog · 云基础设施32

    Microsoft 与 Intel 设计主权 AI：构建从边缘到云端的共享基础中国語

    Microsoft 与 Intel 合作构建从边缘到云端的主权 AI 技术基础，让机构能在合规与受控环境中灵活部署敏感 AI 工作负载。双方依托搭载 Intel Xeon 6 处理器的 Azure Local 延伸基础设施，并借助 Intel TDX 硬件隔离与证明技术强化机密计算安全。结合 Foundry Local，企业可直接在本地就近运行 AI 推理。

  26. Transformers 更新31

    Transformers 发布补丁版本 v5.20.2中国語

    Transformers 发布 v5.20.2 补丁版本，重点修复了 `generate` 函数在 `prepare_inputs_for_generation` 阶段导致输入丢失原始类型并影响多模态模型的问题。该版本还解决了专家并行下 `bfloat16` 专家梯度为零的缺陷，补齐了部分 VLM 的输入模态声明，并消除了 `eager_mask` 中的主机到设备复制。

  27. Cloudflare Blog · 网络基础设施76

    Cloudflare 发布单次前向传递提取模型 Clairic中国語

    Cloudflare 宣布推出面向非结构化数据的信息提取模型 Clairic 预览版，支持在单次前向传递中完成文本或图像的字段提取、基础计算、数值估计和时序预测。

    推薦理由：该模型展示了如何用无需逐 token 自回归的单次前向模型替代传统大模型执行结构化提取，为降低智能体工作流延迟与成本提供了实用方案。

  28. NVIDIA Developer Blog41

    利用 NVIDIA CUDA Tile 高性能前向算子加速 Mamba-2中国語

    NVIDIA 推出基于 Python 的领域特定语言（DSL）与并行编程模型 CUDA Tile（cuTile），旨在利用硬件能力为 GPU 分块级编程提供峰值性能，以加速 Mamba-2 的高性能前向算子。cuTile 将线程与 warp 级调度抽象为以 tile 为核心的高层原语，支持开发者直接使用 Python 编写 GPU 算子，并由编译器自动执行优化。

  29. AWS 机器学习67

    vLLM 双向 KV 传输如何降低多轮智能体负载的首字延迟中国語

    AWS 介绍了在 vLLM 的 Prefill-Decode 分离部署中引入的双向 KV 传输机制，通过让 Decode 节点向 Prefill 节点回传多轮历史的 KV cache，消除多轮智能体场景下的重复前缀计算。

    推薦理由：文章详细拆解了分离式推理下反向传输缓存的协调机制，为长上下文多轮智能体部署提供了可验证的延迟优化参考。

  30. AWS 机器学习63

    vLLM 引入推式 KV 缓存传输优化分离式推理 TTFT 与 TPOT中国語

    AWS 团队向开源推理引擎 vLLM 贡献了推式 NIXL 连接器，通过提前注册目标内存块并在后台线程执行 KV 传输，将传输协调耗时移出分离式推理的关键路径。

    推薦理由：文章详细拆解了分离式推理中推式KV传输的设计细节与线程重叠模型，为大模型推理服务降低首字延迟提供了落地工程参考。

  32. AWS 机器学习66

    TwelveLabs 视频语言模型 Pegasus 1.5 上架 Amazon Bedrock中国語

    TwelveLabs 视频语言模型 Pegasus 1.5 正式上线 Amazon Bedrock，支持直接分析 Amazon S3 存储或 base64 输入的视频并生成带时间戳的结构化 JSON 元数据。

    推薦理由：文章详细展示了将长视频按用户自定义 schema 自动切片并输出结构化时间戳 JSON 的调用方式。