vLLM 集成腾讯混元 HPC-Ops Attention 与 MoE 高性能后端
腾讯混元 AI Infra 团队打造的高性能算子库 HPC-Ops 正式合入 vLLM 主干分支，作为第一类原生 Attention 与 MoE 后端提供支持。
推荐理由：原文给出了动态负载均衡解码调度与全融合 FP8 MoE 算子的实测数据，读者可以参考其在长短序列混杂推理与 H20 硬件上的延迟优化收益。
NVIDIA 英伟达
全部主题英伟达的 AI 芯片与生态动态：GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。
最新精选
第 21–40 条 · 共 76 条vLLM 官方博客（网页）精选AI 评分6363 vLLM 官方博客（网页）精选AI 评分7373 vLLM 在 24 张 NVIDIA B300 上部署优化 GLM-5.2：TPOT 从 40ms 降至 17ms
DaoCloud 团队在 vLLM 官方博客分享了在 24 块 NVIDIA B300 GPU 上部署 GLM-5.2-NVFP4 的生产级优化实践，采用 4P1D 的 P/D 分离拓扑将平均 TPOT 从 40ms 降至 17ms，达成 TTFT ≤ 2.5s 与 TPOT ≤ 20ms 的 SLA 目标。
推荐理由：文章详细拆解了超大 MoE 模型在长上下文与投机解码下的端到端调优路径，给出了完整的部署配置与长周期排障经验。
vLLM 官方博客（网页）精选AI 评分8181 vLLM 宣布首日支持月之暗面 Kimi K3
vLLM 宣布首日支持月之暗面 2.8T 参数模型 Kimi K3，提供混合 KDA 前缀缓存与 DSpark 投机解码等生产级部署方案。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码单用户吞吐可达 370 tok/s，解码速度提升 3.14 倍。
推荐理由：文章详细拆解了针对超大混合架构模型的缓存改造与投机解码方案，为同类长上下文 MoE 的高效部署提供了完整参考。
Ars Technica · AI 筛选精选AI 评分7272 专家担忧黄仁勋对特朗普施加影响以推动 NVIDIA 对华 AI 芯片销售
业内专家与政策观察人士担忧黄仁勋通过淡化 AI 风险对特朗普政策施加影响，以寻求放宽对华芯片出口管制。报道指出中国工信部正评估允许字节跳动和阿里巴巴采购 RTX Pro 5500 芯片用于服务器，其中字节跳动计划订购 100 万颗。若相关销售获批，将显著改善此前 H200 芯片受阻带来的在华营收压力，但此举也引发了对可能削弱前沿 AI 安全监管与本土算力供给的争议。
推荐理由：报道梳理了芯片出口管制与政策博弈细节，有助于理解硬件厂商利益如何影响前沿 AI 监管走向。
vLLM 官方博客（网页）精选AI 评分6969 vLLM 优化 Qwen3.5 解耦推理：单 GPU 吞吐达 25K TPS
vLLM 团队公布了基于 GB200 NVL72 系统的 Qwen3.5-397B-A17B-NVFP4 解耦推理优化方案，实现单 GPU 总吞吐超过 25,000 TPS。
推荐理由：原文展示了混合注意力架构模型在解耦推理下的状态传输与算子优化方案，读者可参考其配置配方提升大模型吞吐。
vLLM 官方博客（网页）精选AI 评分7575 vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型推理
vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型，提供兼容 OpenAI 的 API 接口及完整的高吞吐推理部署方案。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，支持 100 万 token 上下文并提供 BF16 与 NVFP4 权重。
推荐理由：文章提供了在多种硬件平台上利用投机解码加速运行该智能体模型的完整部署配置与调优方法。
vLLM 官方博客（网页）精选AI 评分7979 vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型推理
vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型，提供开箱即用的推理服务。该模型为 2.4T 参数的稀疏混合专家（MoE）架构，包含 512 个专家并采用全注意力与线性注意力的混合主干。除官方 FP8 和 BF16 权重外，vLLM 还支持 NVFP4 与 MXFP4 量化版本，可在单节点 NVIDIA B300 或 AMD MI355X 上完成高效推理。
推荐理由：原文提供了超大混合专家模型的推理部署命令与多硬件算子优化细节，便于工程团队评估大模型服务资源。
vLLM 官方博客（网页）精选AI 评分6969 vLLM 团队基于 GB300 NVL72 与 Mooncake 训练 Kimi K3 的 DSpark 投机草稿模型
vLLM 团队通过 Speculators 训练库与 Mooncake 传输引擎，在 Verda 提供的 GB300 NVL72 机架上完成了 2.8T 参数 Kimi K3 模型的 DSpark 投机草稿模型训练与部署。
推荐理由：原文给出了基于 Mooncake 跨节点传输隐藏状态训练超大模型投机草稿模型的完整拓扑，读者可直接参考其多机训练与部署配置。
vLLM 官方博客（网页）精选AI 评分6464 vLLM 集成 PyNvVideoCodec 硬件视频解码以提升多 GPU 视频处理吞吐
vLLM 宣布集成 PyNvVideoCodec 以支持 NVIDIA GPU 硬件视频解码（NVDEC），将视频解码工作负载从 CPU 转移至专用硬件。该方案消除了多 GPU 节点运行视觉语言模型时 CPU 易满载的瓶颈，在 8×H100 配置下使视频描述任务的吞吐量达到 CPU 解码方案的两倍以上。
推荐理由：通过将视频解码从 CPU 卸载至 GPU 硬件解码器，解决了多卡视觉模型推理中的预处理瓶颈并给出了部署配置参考。
vLLM 官方博客（网页）精选AI 评分6565 vLLM 详解 Qwen3.8-2.4T 的 PD 分离推理优化实践
vLLM 在 GB300 NVL72 集群上实现了千问 Qwen3.8-2.4T 的 Prefill-Decode（PD）分离式推理优化，在 8K/1K 负载下达成单 GPU 5000 token/s 吞吐量以及每用户 180 token/s 的交互速率。
推荐理由：文章系统拆解了超大混合架构模型在显卡上的显存预算计算与拓扑选择，为超大规模模型落地分离式推理提供了可复用的调优方法论。
Gary Marcus精选AI 评分7373 Gary Marcus 评《纽约时报》报道：OpenAI 在 Hugging Face 事件数月前曾收到安全警告
《纽约时报》报道披露，OpenAI 在 Hugging Face 事件发生数月前便已收到员工与安全研究人员的内部预警，但公司在模型测试等多个业务环节中未将安全置于优先地位。Gary Marcus 据此发文批评 OpenAI 管理层忽视安全风险且缺乏有效监管，并反驳了此前呼吁公众信任 AI 企业的观点。
推荐理由：原文梳理了针对 OpenAI 安全治理机制的外部质疑，读者可据此了解行业对模型安全预警与监管责任的争议焦点。
TechCrunch AI精选AI 评分7474 OpenAI 为何未公开加入 NVIDIA 主导的失控 AI 智能体安全联盟
NVIDIA 联合百余家企业推出旨在防范失控 AI 智能体的 Open Agent Safety Platform 联盟，Anthropic、Arm 等已签署支持，而 OpenAI、Google 和 Apple 缺席。
推荐理由：分析揭示了算力硬件厂商与头部大语言模型实验室在智能体安全防线与硬件生态绑定上的竞争博弈。
Hugging Face精选AI 评分7676 NVIDIA 开源表格基础模型 Kumo Tabular
NVIDIA 正式开源表格基础模型 Kumo Tabular，支持在无需训练、微调或特征工程的前提下，通过单次前向传播直接完成表格数据的分类与回归预测。该模型包含 28M 到 215M 三种参数规模，完全基于结构因果模型生成的合成数据完成预训练，并在 TabArena、BeyondArena、TALENT 与 ScoringBench 四项基准测试中均位居榜首。
推荐理由：模型展示了完全依赖因果合成数据预训练表格大模型的可行路径，读者可以借此了解免微调与零特征工程在表格预测任务中的落地机制。
ServeTheHome精选AI 评分7777 NVIDIA 推出开源智能体安全平台 Open Agent Safety Platform
NVIDIA 推出开源智能体安全平台 Open Agent Safety Platform，包含开源运行时 OpenShell 0.1.0 及基于 BlueField-4 DPU 的硬件级安全扩展 NVIDIA Sentry。
推荐理由：原文给出了开源沙箱与DPU硬件协同防御的具体机制，读者可据此了解防范智能体越权调用的工程架构。
ServeTheHome精选AI 评分6262 华硕展示液冷 HGX Rubin NVL8 与 Vera Rubin NVL72 AI 服务器方案
华硕在首尔举办的 ASUS AI Tech 2026 活动上展示了多款新型 AI 服务器与机架解决方案。其 HGX Rubin NVL8 液冷节点通过翻转基板上的 GPU 朝向优化液冷散热，将 8 颗 Rubin GPU 压缩进 1U 空间并集成新一代板载 NVLink Switch。
推荐理由：华硕展示的液冷架构通过翻转 GPU 方向将 8 卡 HGX Rubin 压缩至 1U 空间，展现了高密度算力机架在散热设计上的演进路径。
NVIDIA · AI 筛选精选AI 评分7272 NVIDIA 联合 Google DeepMind 等开源 2800 多种病毒的蛋白质复合物 3D 结构数据集
NVIDIA 联合 Google DeepMind 及 EMBL-EBI 等机构，通过 AlphaFold Database 公开发布了超过 2800 种病毒的蛋白质复合物预测 3D 结构数据集。
推荐理由：NVIDIA 联合 DeepMind 等机构开源 2800 多种病毒的蛋白质复合物 3D 结构数据与预测管线，为应对潜在疫情提供了关键的生物计算基础设施。
NVIDIA Developer Blog精选AI 评分6565 NVIDIA 发布 DLSS 5 并带来 ACE 与 RTX Kit 多项更新
NVIDIA 推出 DLSS 5 并引入 3D 导向神经渲染技术，为开发者提供更细粒度的光照与材质控制能力。同时更新还涵盖角色 AI 工具 NVIDIA ACE、RTX Mega Geometry 2.0 以及 RTX Kit，针对高密度几何体与渲染工作流进行了功能扩展。
推荐理由：原文汇总了神经渲染与角色工具的技术更新，读者可借此了解新特性对画质控制与图形工作流的改变。
NVIDIA · AI 筛选精选AI 评分7171 NVIDIA 发布 Isaac ROS 5.0，引入智能体工作流与物理 AI 支持
NVIDIA 在 ROSCon 大会上发布开源软件套件 Isaac ROS 5.0，通过引入智能体工作流帮助开发者与 AI 智能体协同开发机器人应用。新版本增加了对 ROS Lyrical 和 Ubuntu 24.04 的支持，贡献了跨硬件的标准数据处理接口，并提供 FoundationStereo 微调、目标位姿估计模型 FoundationPose 的智能体推理库等技能。
推荐理由：Isaac ROS 5.0 通过标准化硬件接口和可复用技能，降低了开发者与智能体协同构建机器人感知和抓取工作流的门槛。
NVIDIA Developer Blog精选AI 评分6565 NVIDIA Dynamo-Triton 集成 TensorRT 多设备推理以简化多 GPU 模型服务
NVIDIA 推出 TensorRT 多设备推理能力并在 Dynamo-Triton 中完成集成，旨在简化多 GPU 场景下的模型服务。该能力基于 NCCL 分布式通信集合，允许单个 TensorRT 网络跨多张 GPU 执行，同时保留 TensorRT 的推理优化性能，已自 TensorRT 11.0 起获得完整支持。
推荐理由：原文介绍了基于 NCCL 的多 GPU 分布式推理新特性，读者可据此了解 TensorRT 11.0 的多卡部署优化机制。
The Next Platform精选AI 评分7373 IDC 数据显示全球加速服务器销售额持续飙升
IDC 最新数据显示，2026 年第二季度全球服务器销售额达到 1663.2 亿美元，同比增长 52%，其中 GPU 加速系统销售额达 874 亿美元。
推荐理由：文章通过拆解服务器出货量与均价数据，揭示了算力投资激增背后整机形态向机架级演进的采购结构变化。