vLLM-Omni 支持 MiniMax H3 系统级优化与 FastH3 实时推理Chinese
vLLM-Omni 宣布完成对 MiniMax H3 的全栈推理优化并集成 FastVideo 的 4 步蒸馏方案 FastH3，实现了生成速度快于播放时长的端到端实时服务。
Why it matters: 文章拆解了音视频联合生成从 DiT 到 VAE 及视频封装的全链路瓶颈，为多模态大模型的低延迟部署提供了系统级参考。
All AI and data center updates
All updates
Today 0 itemsvLLM 官方博客（网页）SelectedAI score7575 vLLM 官方博客（网页）SelectedAI score6363 vLLM 推出 Tenstorrent 硬件插件 vLLM TT PluginChinese
vLLM 正式推出 vLLM TT Plugin，通过树外平台插件机制将 Tenstorrent 硬件接入 vLLM 推理生态，对外保持兼容 OpenAI 格式 API。
Why it matters: 文章详细展示了非 GPU 网格架构适配 vLLM 的工程实践，为异构芯片接入主流推理框架提供了调度与并行设计参考。
vLLM 官方博客（网页）SelectedAI score7777 vLLM 针对真实 Agent 工作负载推出全栈推理服务优化Chinese
vLLM 针对多轮会话、长上下文及高前缀复用的 Agent 工作负载推出全栈推理优化方案，涵盖统一内存页混合 KV cache 管理、分层离线卸载、模型自适应并行及防队头阻塞调度。
Why it matters: 原文梳理了长上下文与高前缀复用负载下的全栈推理优化方案，为大模型智能体部署和算力选型提供了实测参考。
vLLM 官方博客（网页）SelectedAI score7272 vLLM 引入 Hybrid HiSparse 混合稀疏卸载优化，支持 GLM 5.3 单机长上下文高并发推理Chinese
vLLM 针对 GLM 5.3 推出 Hybrid HiSparse 混合稀疏卸载优化机制，使单个 8× H200 节点即可运行 100 万全长上下文并显著提升并发能力。
Why it matters: 文章给出了混合稀疏卸载机制在单节点上的显存管理设计，为长上下文大模型推理的高并发部署提供了实用方案。
LlamaIndex 官方博客（网页）SelectedAI score6060 LlamaIndex 推出 ExtractBench 企业文档提取评测基准并上线 Agentic PlusChinese
LlamaIndex 开源了 ExtractBench 企业文档数据提取评测基准，并推出 LlamaExtract Agentic Plus 模式。该基准涵盖 8 个商业领域、67 类文档共 370 份企业文件（4,869 页），联合评估长记录完整性、扫描与手写体识别、视觉溯源及单页运行成本。
Why it matters: 评测将长文档完整性、扫描与手写识别以及单页成本结合，为企业评估文档提取系统提供了可量化的参考基线。
vLLM 官方博客（网页）SelectedAI score7373 vLLM 推出分层 KV Cache 卸载框架Chinese
vLLM 正式推出分层 KV Cache 卸载框架（Tiered KV Cache Offloading），支持将加速卡显存中逐出的 KV 数据下沉至主机内存、文件系统、对象存储或远端节点以避免重复计算。
Why it matters: 框架通过主机内存统筹多级存储与节点间共享，为长上下文和大并发下的显存瓶颈提供了低成本扩展方案。
vLLM 官方博客（网页）AI score5050 追踪瓶颈：在 AMD Instinct MI355X 上优化 MiniMax M3Chinese
vLLM 针对 AMD Instinct MI355X 优化 MiniMax M3 推理性能，在并发 32 下将 MXFP8 吞吐提升 3.14 倍至 342.4 output tokens/s/GPU。
vLLM 官方博客（网页）SelectedAI score6767 vLLM 发布 Kimi K3 性能优化：端到端吞吐提升达 2.8 倍Chinese
vLLM 宣布针对 Kimi K3 模型完成全栈推理性能优化，在 B300 节点 8K/1K 负载下实现端到端吞吐提升 2.2–2.8 倍，TTFT 降低 72%–85%，平均延迟降低 56%–60%。
Why it matters: 原文给出了从自适应调度、KDA 检查点到 ReplaySSM 的全栈优化细节，读者可据此参考混合架构大模型推理加速方案。
vLLM 官方博客（网页）AI score4545 vime 联合 RL-Kernel 与 AMD 在 ROCm 上实现训练与 Rollout 逐比特数值一致性Chinese
vime、RL-Kernel 与 AMD 合作在 ROCm 上实现了 Megatron 训练与 vLLM rollout 的逐比特数值一致性。在 8× AMD Instinct MI300X 运行的 Qwen3-8B GRPO 端到端实验中，系统连续 200 步实现 mismatch_count = 0 且 max_abs_diff = 0。
vLLM 官方博客（网页）AI score5353 Novita AI 开源 W4A16 MoE 算子 Chord 并集成至 vLLMChinese
Novita AI 开源了面向 Kimi K2.x 等模型的高性能 W4A16 MoE CUDA 算子 Chord，并接入 vLLM 的 Humming 量化后端。
vLLM 官方博客（网页）SelectedAI score6969 vLLM 团队基于 GB300 NVL72 与 Mooncake 训练 Kimi K3 的 DSpark 投机草稿模型Chinese
vLLM 团队通过 Speculators 训练库与 Mooncake 传输引擎，在 Verda 提供的 GB300 NVL72 机架上完成了 2.8T 参数 Kimi K3 模型的 DSpark 投机草稿模型训练与部署。
Why it matters: 原文给出了基于 Mooncake 跨节点传输隐藏状态训练超大模型投机草稿模型的完整拓扑，读者可直接参考其多机训练与部署配置。
vLLM 官方博客（网页）SelectedAI score6464 vLLM 集成 PyNvVideoCodec 硬件视频解码以提升多 GPU 视频处理吞吐Chinese
vLLM 宣布集成 PyNvVideoCodec 以支持 NVIDIA GPU 硬件视频解码（NVDEC），将视频解码工作负载从 CPU 转移至专用硬件。该方案消除了多 GPU 节点运行视觉语言模型时 CPU 易满载的瓶颈，在 8×H100 配置下使视频描述任务的吞吐量达到 CPU 解码方案的两倍以上。
Why it matters: 通过将视频解码从 CPU 卸载至 GPU 硬件解码器，解决了多卡视觉模型推理中的预处理瓶颈并给出了部署配置参考。
vLLM 官方博客（网页）SelectedAI score6565 vLLM 详解 Qwen3.8-2.4T 的 PD 分离推理优化实践Chinese
vLLM 在 GB300 NVL72 集群上实现了千问 Qwen3.8-2.4T 的 Prefill-Decode（PD）分离式推理优化，在 8K/1K 负载下达成单 GPU 5000 token/s 吞吐量以及每用户 180 token/s 的交互速率。
Why it matters: 文章系统拆解了超大混合架构模型在显卡上的显存预算计算与拓扑选择，为超大规模模型落地分离式推理提供了可复用的调优方法论。
vLLM 官方博客（网页）SelectedAI score7878 vLLM 推出 vllm-metal：支持 Apple Silicon 的并发推理服务栈Chinese
vLLM 官方发布 vllm-metal，将 vLLM 的 V1 调度器、分页 KV 缓存和连续批处理服务栈引入 Apple Silicon，底层结合 MLX 与 Metal 执行。
Why it matters: 原文给出了将 vLLM 分页调度栈移植到 Apple Silicon 的架构与内核实现，读者可以据此评估 Mac 本地多智能体并发推理的性能与部署方案。
vLLM 官方博客（网页）SelectedAI score7171 vLLM 支持 Gumbel-max 无失真文本水印功能Chinese
vLLM 宣布支持基于 Gumbel-max 算法的无失真文本水印功能，在不改变模型原始输出分布的前提下实现文本来源溯源。
Why it matters: 官方详解了如何在高性能推理引擎中落地无失真文本水印，对兼顾生成质量、投机解码与吞吐性能有直接工程参考价值。
vLLM 官方博客（网页）SelectedAI score6666 深入解析 vLLM：高吞吐大语言模型推理系统的架构剖析Chinese
vLLM 官方博客发布技术长文深度剖析其 V1 推理引擎，系统拆解从单卡底层内核到大规模分布式服务的完整架构。文章详细解读了调度器运行机制、PagedAttention 内存分配与连续批处理流程，并深入探讨分块 Prefill、前缀缓存、基于有限状态机的引导解码、推测解码以及 Prefill/Decode 分离等高级特性。
Why it matters: 文章从单机引擎内核层层拆解到多节点分布式服务，为理解和优化高吞吐大模型推理系统提供了完整清晰的架构参考。
Google Developers · AI 筛选SelectedAI score6767 Google 推出 autofinetune：在 TPU 上基于 Tunix 实现 LLM 自主后训练Chinese
Google 推出开源项目 autofinetune，利用 Gemini Flash 3.7、Tunix 与 Cloud TPU 驱动 AI 智能体自主闭环完成大语言模型的监督微调（SFT）与 GRPO 强化学习后训练。
Why it matters: 展示了如何通过规范配置让智能体在硬件集群上自主调优并验证变更，为模型后训练提供了可复用的自动化实践路径。
Google Developers · AI 筛选SelectedAI score6565 Google 详解如何构建面向意图判断的零信任 AI Agent 运行时安全体系Chinese
Google 发布零信任 AI Agent 系列第二篇指南，介绍如何将安全边界从代码级检查迁移至平台运行时治理。方案通过 Model Armor 在边缘拦截提示词注入与敏感数据，利用基于大模型的语义治理策略（Semantic Governance Policies）在工具调用前校验业务意图，并通过 Agent 异常检测捕获多轮会话攻击并实现无须重构代码的闭环修复。
Why it matters: 原文给出了结合边缘过滤语义治理与多轮异常检测的 Agent 运行时防护架构读者可直接参考开源示例提升系统的安全性。
Google Developers · AI 筛选AI score5252 Google 在 Gemini 企业智能体平台推出 Agent Anomaly Detection 开启小范围预览Chinese
Google 宣布在 Gemini Enterprise Agent Platform 上开启 Agent Anomaly Detection 的 Private Preview，用于对自主 AI 智能体的推理轨迹与工具调用进行异常行为审计。
Google Developers · AI 筛选SelectedAI score6464 Google 与 Speakeasy 合作开源 OpenAPI 客户端 SDK 生成套件Chinese
Google 宣布与 Speakeasy 合作将 OpenAPI 代码生成套件在 AGPLv3 协议下开源，用于生成多语言 SDK、Agent 原生 CLI 以及文档 MCP 服务端。
Why it matters: 原文结合闭源供应商停运的迁移经历，展示了结合确定性生成器与 Agent 维护多语言 SDK 及 MCP 服务的工程实践。
Google Developers · AI 筛选SelectedAI score6767 Google AI 订阅正式整合 Google Colab 高级权益Chinese
Google 宣布即日起将 Google Colab 高级权益纳入 Google AI 订阅方案，订阅用户可优先访问更快的加速器与更强算力机型。其中 Google AI Ultra 订阅者还可解锁高级 GPU 访问以及不中断的后台执行能力，长时间训练无需保持浏览器标签页打开。已有 Colab 订阅的用户权益不受影响且支持权益叠加，相关更新将在接下来数周内逐步推送。
Why it matters: 原文明确了不同订阅档位新增的硬件与后台运行权限，开发者可据此评估打包订阅的算力性价比。
Google Developers · AI 筛选SelectedAI score7272 Google Antigravity SDK 宣布支持本地 AI 模型工作流Chinese
Google 宣布 Antigravity SDK 正式支持本地 AI 模型工作流，首发通过 Google AI Edge 的 LiteRT 支持 Gemma 4 26B A4B 模型离线运行。
Why it matters: 官方为智能体开发框架引入端侧模型执行能力，通过云端规划与本地执行的混合编排方案，为平衡数据隐私与推理成本提供了具体参考。
Google Developers · AI 筛选SelectedAI score6363 Google 基于 MaxText 与 TPU 完整复现 Olmo 3 7B 预训练流程Chinese
Google 团队使用基于 JAX 的 MaxText 框架与 Cloud TPU，从头完整复现了 Ai2 的 Olmo 3 7B 第一阶段约 5.9T token 预训练与第二阶段 mid-training 退火训练。
Why it matters: 原文系统复盘了在 TPU 上复现 PyTorch 大模型预训练的工程细节与性能调优，读者可据此参考跨框架对齐与断点续训的验证方法。
Google Developers · AI 筛选SelectedAI score7474 Google Cloud API Gateway 支持将 REST API 直接转换为 MCP 工具Chinese
Google Cloud API Gateway 推出公开预览版功能，支持直接充当远程 MCP 服务器，无需单独搭建与维护服务器即可将现有 REST API 转换为智能体可调用的 MCP 工具。
Why it matters: 原文给出了通过注解规范将现有网关直转为协议端点的具体配置与限制，有助于降低企业工具接入智能体的运维成本。
AWS 机器学习AI score4040 Amazon Bedrock 扩展 Claude 模型支持，上线印度境内推理Chinese
Amazon Bedrock 宣布在印度推出 Anthropic 的 Claude Opus 5、Claude Sonnet 5 和 Claude Haiku 4.5 境内推理支持。
AWS 机器学习AI score4040 Amazon Bedrock 在首尔和新加坡推出 Anthropic Claude 模型区域内推理Chinese
Amazon Bedrock 现已支持 Anthropic 模型在首尔（Claude Opus 5 与 Claude Sonnet 5）及新加坡（Claude Sonnet 5）的区域内推理。
AWS HPCAI score4545 Research and Engineering Studio on AWS（RES）的后续规划与演进路径Chinese
AWS 宣布将投资重心转向托管服务与合作伙伴方案，正式停止开发 Research and Engineering Studio on AWS（RES），2026.09 为其最终版本。
vLLM 更新AI score2626 vLLM v0.31.0rc2 发布Chinese
vLLM 发布候选版本 v0.31.0rc2。该版本主要包含针对 Mamba 模型的 Bug 修复，在稀疏相关场景下保留 prompt-end prefill 检查点。
Ollama 更新SelectedAI score7272 Ollama v0.35.0 发布：新增决策模型接口与概率评分输出Chinese
Ollama 发布 v0.35.0 版本，通过 /v1/systemone 接口新增对决策模型的支持。该功能基于 TypeSafe 的 Jev API，使模型直接返回选项、概率和分值而非生成文本，适用于工单分拣、模型路由和内容分类等场景，首批支持 Nimble 和 Tev1 模型。新版本还修复了 MLX 模型下载挂起的问题，并优化了设置加载与已弃用参数的告警处理。
Why it matters: 原文给出了决策模型的调用接口与结构化返回示例，展示了本地运行时从文本生成拓展至精准分类与路由的能力。
LangChain 官方博客SelectedAI score6767 LangSmith 评估模块正式支持 TypeSafe Jev 模型Chinese
LangChain 宣布在 LangSmith Evals 中上线 TypeSafe AI 的决策模型 Jev，作为第三类评估器用于智能体评测。Jev 不生成自由文本，而是直接对智能体 Trace 并行返回布尔概率、选项或评分等类型化结果，分类场景下速度较同类大语言模型快最高约 200 倍且成本降低最高约 450 倍。
Why it matters: 原文给出了在智能体评估中以快速结构化模型替代生成式大模型的延迟与成本实测数据，读者可以据此评估在线高频监控的可行性。
Ollama 更新AI score2929 Ollama v0.35.1-rc0 支持显式模型能力声明Chinese
Ollama 发布 v0.35.1-rc0，在 Modelfile 中新增 CAPABILITY 声明并为 create 请求添加 capabilities 字段，支持显式模型能力。
AWS 机器学习SelectedAI score7474 GPT-6.1 Sol 正式上线 Amazon BedrockChinese
GPT-6.1 Sol 已在 Amazon Bedrock 正式全面可用（GA），重点增强了智能体编码、计算机使用和多步骤日常工作流的推理能力。根据 OpenAI 评测数据，GPT-6.1 Sol 在 DeepSWE v1.1 上的表现媲美 GPT-6 Astra，而单任务成本仅约为后者的五分之一，得分比 GPT-6 Sol 高出 6.4 个百分点。
Why it matters: 原文介绍了模型上线云端托管后的性能与成本表现，企业读者可据此评估其在智能体工作流中的部署性价比。
Claude Code 更新AI score4848 Claude Code v2.1.285 发布Chinese
Claude Code 发布 v2.1.285 版本。新版本新增 `CLAUDE_CODE_DISABLE_WEB_FETCH` 环境变量以关闭 WebFetch 工具，支持通过 `claude --desktop` 打开桌面端应用，并加入 `allowedProviders` 托管设置限制可用的 API 提供商。
NVIDIA Developer BlogAI score5555 NVIDIA TensorRT Model Connect 构建经验：面向编码智能体的 AI 原生设计Chinese
NVIDIA 总结了开源项目 TensorRT Model Connect 的构建经验，阐述如何围绕编码智能体设计底层推理参考实现。该项目基于 C++ 与 TensorRT 构建，通过并行工作流、模型族隔离、可逆变更以及 GPU 自动化验证，降低了开发者调用 TensorRT 高性能推理栈的门槛。
Google ResearchAI score4949 Diffusion Controller 如何统一并简化 AI 图像生成Chinese
Diffusion Controller 框架将文生图去噪过程重构为连续控制问题，通过统一的数学表征平衡图像质量与用户偏好对齐。该方法引入轻量附加网络动态校准生成轨迹，无需修改基础模型权重即可超越行业标准，其完全解锁微调版本对比基线模型取得 90% 胜率。实验在 Stable Diffusion v1.4 上验证了其在灰盒及闭源模型中的控制能力。
NVIDIA Developer BlogAI score4545 利用 NVIDIA VSS Blueprint 3.3 降低构建和运行视觉 AI 智能体的成本Chinese
NVIDIA 推出 Metropolis 视频搜索与摘要（VSS）Blueprint 3.3，旨在降低构建和运行生产级视觉 AI 智能体的成本。该方案结合视觉语言模型与 agent skills，帮助开发者将视频摄取、流处理、事件检测、检索、摘要和报告功能整合为可维护的完整系统。
Azure Blog · 云基础设施AI score5959 SQL Server on Azure Local 正式可用Chinese
微软宣布 SQL Server on Azure Local 正式可用，支持在客户自有数据中心及边缘节点部署，并提供云端连接与完全离线两种运行模式。结合处于预览阶段的 Foundry Local，企业可在本地直接运行 AI 模型推理，无需迁移敏感数据即可构建智能应用，同时支持沿用现有 SQL Server 许可证或通过 Azure Arc 按需计费。
AWS 机器学习AI score4343 Amazon Quick 提示词工程基础Chinese
Amazon Quick 提供了适用于构建自定义智能体、自动化流程与对话式分析等 AI 功能的提示词工程基础原则。其核心原则强调通过高具体性明确指标与范围、注入业务上下文指导输出深度，并借助少样本示例规范输出结构。此外文章还推荐采用 CRISPE 等结构化框架定义上下文、角色与输入要素，以减少试错迭代并实现标准化复用。
AWS 机器学习AI score4444 Amazon Quick 各组件提示词工程：实用模式与避坑指南Chinese
AWS 详解了 Amazon Quick 各核心组件的提示词工程模式与避坑指南。针对 Quick Research，需明确目标受众、拆解子问题并限定数据源以生成带引用的结构化报告；针对 Quick Flows 自动化，需使用编号步骤明确时间表、触发条件与分支逻辑；使用 Quick Sight 探索数据时，则需在对话式查询中清晰界定业务指标、维度与可视化偏好。
AWS 机器学习AI score4949 如何基于 Amazon Bedrock 与 Quick 构建 AI 合同智能平台Chinese
AWS 介绍了基于 Amazon Bedrock 与 Quick 构建的 AI 合同智能平台架构，解决传统 RAG 无法跨文档进行全库聚合统计的问题。系统由 Claude Sonnet Agent 提取 8 个关键字段，Claude Haiku 独立核验，签名分歧由 Amazon Textract 仲裁后存入 Amazon Aurora PostgreSQL。