本文へスキップ

すべての記事

今日 27 件
10月15日木
  2. vLLM 官方博客（网页）60

    vLLM 推出无置信度头自适应验证机制中国語

    vLLM 在投机解码中推出无置信度头自适应验证机制，通过在线拟合估计器直接从草稿模型的 logits 预测目标模型接受率，使 EAGLE、MTP、DFlash 等存量模型无需重训即可启用验证裁剪。

    推薦理由：该方案通过在线拟合接受率避免了重新训练草稿模型的成本，让各类存量投机解码检查点无需置信度头即可接入自适应验证。

  3. Cloudflare Blog · 网络基础设施75

    Cloudflare 数据显示 Yandex 设施受损后恶意 Bot 快速迁移而非停止运行中国語

    Cloudflare 发布的流量监测数据显示，Yandex 数据中心受损致网络流量骤降后，恶意自动化 Bot 流量并未停止，而是迅速迁移到了其他托管服务商。Yandex 搜索网络掉落的流量几乎全部是搜索引擎自用爬虫，而云服务上的高频自动化脚本在中断后以相同的 JA4 指纹快速转移至 Radist 和 Selectel 等平台。

    推薦理由：文章通过遥测数据拆解了基础设施故障与自动化流量的解耦关系，为安全团队评估算力节点事故影响提供了具体分析视角。

  5. AWS News · 云基础设施70

    Amazon S3 正式上线 Vercel Marketplace 与 v0中国語

    Amazon S3 及其 S3 Tables、S3 Vectors 正式原生接入 Vercel Marketplace 和 v0，开发者可在 Vercel 工作流内直接配置日常存储、分析与 AI 向量资源。

    推薦理由：原生集成消除了手动配置凭据的摩擦，使前端与全栈开发者能够在统一工作流中直接调度对象与向量存储。

  7. Ollama 更新29

    Ollama v0.40.5-rc0 发布中国語

    Ollama 发布 v0.40.5-rc0 预发布版本，主要将 mlx 的 Metal 自定义内核移植到 CUDA 并完成 MLX 版本升级。新版本还在 Responses 历史记录中支持 OpenAI 自定义工具调用（custom tool calls），并在应用端明确了云端支付错误提示。此外，文档方面更新了模型推荐与语言标准化内容。

  9. Azure Blog · 云基础设施31

    微软入选 2026 年 Gartner 服务器虚拟化平台魔力象限领导者中国語

    微软入选 2026 年 Gartner 服务器虚拟化平台魔力象限领导者。该方案通过 Azure 与 Azure Arc 实现云端、数据中心及边缘的统一管理、治理与安全，并依托 Hyper-V 跨 Azure、Azure Local 和 Windows Server 保持一致的虚拟化基础设施。企业无需为不同环境维护多套运维模型，可更好地支撑 AI 智能体与应用跨环境分布式部署。

  11. Google Developers · AI 筛选67

    Apigee hybrid 宣布支持 MCP：可在私有 Kubernetes 集群中运行 AI 智能体工具中国語

    Google 宣布在 Apigee hybrid 1.17.0 中正式提供 Model Context Protocol（MCP）支持，允许 MCP 数据平面直接运行在客户自有的 Kubernetes 集群内。

    推薦理由：Apigee hybrid 将 MCP 数据平面下放到私有 Kubernetes 集群，让受监管或多云企业无需将流量移至公有云即可提供智能体工具调用。

  12. vLLM 官方博客（网页）70

    vLLM 引入推模式 NIXL 连接器以降低分离式推理的 TTFT 与 TPOT中国語

    vLLM 推出基于推模式的 NIXL 连接器，用于 Prefill-Decode 分离式推理架构。该方案让解码节点提前注册目标块，并在预填充完成后通过 RDMA 直接写入解码显存，将传输协调与描述符准备移出关键路径。在 AWS EC2 P5en 实例与 Qwen3-32B 的基准测试中，推模式相比拉模式将 TTFT 降低最高 3 倍，TPOT 改善最高达 30%。

    推薦理由：文章详细拆解了分离式推理将传输协调移出首字关键路径的机制，为高负载推理系统的网络与显存编排提供了工程参考。

  15. NVIDIA Developer Blog21

    使用 NVIDIA NeMo Gym 优化芯片设计中的智能体可靠性与工具调用效率中国語

    NVIDIA 探讨使用 NVIDIA NeMo Gym 优化芯片设计工作流中 AI 智能体的可靠性与工具调用效率。AI 智能体在复杂芯片设计中虽能大幅提升生产力，但容易生成看似合理却存在错误的产物，早期未被发现的错误更会在多阶段工程中隐蔽传播。开发团队需对智能体展开评估与针对性调优，以消除级联错误并达到实际生产部署要求。

  17. Google Research77

    Google 发布技术文档审查智能体系统 Deep Review中国語

    Google 正式公开发布智能体 AI 系统 Deep Review，旨在为长篇学术论文、法律与金融等复杂技术文档提供逻辑一致性检验与技术验证。该系统采用四阶段智能体流水线，包括文档切分、自适应计算预算分配、并行深度验证与全局综合校验，目前支持 PDF 和纯文本输入并提供每天两次免费审查额度，同时开放 Gemini API 接入与 Deep Review API。

    推薦理由：Google 推出了基于多智能体架构的文档技术验证系统，展现了长文本与严密逻辑审查的可迁移实践方案。

  18. Google Research60

    Google 发布 Earth AI 地理空间推理智能体并开放早期访问中国語

    Google 宣布对其 Earth AI 地理空间推理智能体（Geospatial Reasoning agent）进行升级，并开放 Ask Google Earth 深度分析与 Agent-to-Agent API 的早期测试。

    推薦理由：评测表明前置规划与专用空间工具结合能显著改善复杂地理分析，为大语言模型处理行星级多模态数据提供了可借鉴的架构方案。

  19. Hugging Face62

    Ai2 发布气候模拟系统 HiRO-ACEv2，以 1/300 成本生成 3 km 极端天气数据中国語

    Ai2 推出气候模拟系统 HiRO-ACEv2，能以高分辨率大气物理模型 X-SHiELD 约 1/300 的计算成本生成全球 3 km 分辨率气候数据。该版本通过新的降尺度模型 HiROv2 与更新版 ACE 协同工作，可同时预测降水、风速和气压等多项指标，百万分之一概率的罕见极端事件统计误差在 3% 以内。相关模型、技术报告、教程及在线演示已在 Hugging Face 开放。

    推薦理由：新系统将全球高分辨率气候模拟成本降至传统物理模型的约三百分之一，为长期极端天气预测与气候研究提供了低成本方案。

  21. Apple Machine Learning Research35

    利用语音基础模型语言选择性维度检测语码转换中国語

    研究人员提出一种通过预训练语音编码器直接从语音中检测语码转换（CS）的轻量级方法。该方法利用单语录音识别语言选择性隐藏状态维度，并聚合其帧级激活值来预测语码转换。实验显示，Whisper-small 编码器在 CS-FLEURS 的 14 种语言对上达到了 0.798 的平均 F1 分数，优于 CNN 基线的 0.776 和 HuBERT 线性基线的 0.751。

  22. Apple Machine Learning Research54

    Apple 研究团队提出三模态掩码扩散模型设计空间中国語

    Apple 机器学习研究团队提出首个从零开始在文本、图文和音频文本数据上预训练的三模态掩码扩散模型（MDM）。研究系统分析了多模态扩展规律、模态混合比例与噪声调度，并提出基于 SDE 的重参数化方案以解耦物理与逻辑批大小。团队预训练了 3B 参数规模（6.4T tokens）的统一模型，在文本生成、文生图（T2I）和文生语音（T2S）任务上均展现出扎实表现。

10月14日水
  1. AWS Architecture30

    UTS 如何在 AWS 上构建现代课程数据服务架构中国語

    悉尼科技大学（UTS）基于 AWS Serverless 与托管服务构建了现代课程数据服务架构，在保留第三方 SaaS 记录系统的同时实现解耦与数据治理。架构划分为边缘、摄取、持久化、业务逻辑与接口五层，利用 Amazon API Gateway、AWS Lambda 和 Amazon MSK Serverless 实现事件流摄取，支持图遍历与全文检索等复用能力并降低运维成本。

  6. AWS 机器学习44

    使用 Amazon SageMaker JumpStart 部署与评估模型中国語

    AWS 介绍了如何使用 Amazon SageMaker JumpStart 与 SageMaker Python SDK v3 快速部署预训练模型并进行性能评测。用户可通过控制台 Model Hub 或 Hugging Face 深度链接一键部署，并针对低成本、低延迟等工作负载选择预配置选项。测试脚本可运行样本提示词以测量延迟、输出长度和生成速率，并在完成后自动删除端点。

  9. NVIDIA · AI 筛选42

    欧洲多座城市部署 NVIDIA 驱动的 AI 智能体以优化城市运营中国語

    欧洲多座城市正利用 NVIDIA 加速计算、Cosmos 与 Nemotron 开源模型构建 AI 智能体和数字孪生，以优化城市运营与公共服务。项目覆盖英、法、意等多国，例如法国科多尔省借此将文档检索耗时从数周缩至数分钟，并削减 10% 运营成本。Cisco、Dell 等伙伴同步推进本地化 AI 工厂建设，让各城市在本地部署应用的同时掌握数据控制权。

  10. NVIDIA · AI 筛选50

    NVIDIA 宣布对英国初创生态进行新一轮投资中国語

    NVIDIA 宣布计划对 Boltz、Foresight、Hiverge、Prima Mente 和 Riverlane 五家英国初创企业进行新投资，并设立一项为期 5 年、总额 2.5 亿美元的算力承诺以支持智能体安全与保障研究。此外，NVIDIA 同步公布了与 Earthshot Prize 的合作，并披露了其硬件与开源模型在英国能源、医疗、智慧城市、金融及量子计算领域的落地进展。

  12. Google DeepMind61

    Google DeepMind 与新加坡政府合作推出端侧防诈骗 AI 模型中国語

    Google DeepMind 与新加坡政府科技局（GovTech）合作推出一款端侧防诈骗 AI 模型，基于轻量级 Gemma 模型微调并在普通智能手机上本地运行。

    推薦理由：该方案展示了如何在端侧结合轻量模型识别复杂社工诈骗，为加密通信场景提供了兼顾隐私与风控的落地参考。

  13. Ollama 更新59

    Ollama v0.40.4 发布，CLI 支持决策模型并优化推理与多模态嵌入中国語

    Ollama 发布 v0.40.4 版本，允许用户通过 CLI 的 ollama run 直接调用决策模型进行是/否问答、文本分类和评分。更新新增了通过 llama-server 支持多模态嵌入，并通过复用已验证清单和已加载模型来优化推理性能。

  14. AWS Architecture41

    使用 AWS Resilience Hub 界定工作负载范围并共享弹性策略中国語

    新一代 AWS Resilience Hub 推出三项功能，支持通过 Amazon EKS 标签界定工作负载、基于生成式 AI 分析服务依赖，并借助 AWS Organizations 共享弹性策略。该更新允许利用 Kubernetes 标签在共享命名空间中精准筛选资源，并通过 Dependency Insights 排查跨区域依赖等架构风险，同时支持中央团队统一定义并下发弹性规范。

  15. Ollama 更新31

    Ollama v0.40.4-rc2 发布中国語

    Ollama 发布 v0.40.4-rc2 预发布版本，将 llama.cpp 升级至 b11521，以支持决策模型与 EmbeddingGemma 2。服务端在推理路由中开始复用已验证的清单与已加载模型，并在推测回滚后压缩恢复的循环状态。此外，Codex 的 /model 选择器现已纳入已安装模型，并同步升级了 MLX 与 MLX-C 版本。

  17. Cerebras 官方博客（网页）64

    Cerebras 发布 MoE 路由调试指南：通过空专家机制修复 top_k=1 梯度阻断问题中国語

    Cerebras 团队发布了一套在 124M GPT-2 规模下训练与调试 MoE 模型的实操指南，指出 top_k=1 时的归一化计算会导致交叉熵梯度降为零，使路由器仅能学习负载均衡而无法学会按 token 匹配专家。

    推薦理由：原文指出了 MoE 负载均衡正常但路由梯度归零的隐蔽陷阱，并给出无需增加计算开销的空专家修补方案。

  18. Cerebras 官方博客（网页）65

    Cerebras拆解MoE推理算力与显存瓶颈：从单卡到晶圆级芯片的部署解析中国語

    Cerebras发布MoE模型推理算力指南，通过拆解预填充与解码阶段的FLOPs及显存公式，分析了MoE推理在不同硬件架构下的瓶颈所在。实测表明单张H100在batch size为1运行Qwen3-30B-A3B时超过99.5%的时间用于从HBM搬运权重，属于典型的内存受限，需通过提升批处理至约256进入算力受限；而多GPU采用专家并行时会面临All-to-All通信瓶颈。

    推薦理由：文章拆解了MoE推理的显存与算力算式，提供了量化推导瓶颈并确定最优批大小的实用方法。