Skip to content

Product updates

AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。

1,364selectedRelated topics模型发布行业动态AI 编码

Latest selected

1201–1220 of 1,364
Sep 30Wed
  1. vLLM 官方博客（网页）77

    vLLM 详解解码上下文并行 DCP：长上下文智能体推理吞吐提升 3 倍Chinese

    vLLM 官方详解了解码上下文并行（DCP）机制，通过沿序列维度将 KV Cache 分片到多张 GPU，在长上下文智能体负载下实现相比标准张量并行 3 倍的吞吐提升。

    Why it matters: 针对长上下文推理中多头及潜变量注意力导致的显存冗余，原文给出了按序列分片提升并发与吞吐的实现方案。

  2. vLLM 官方博客（网页）75

    vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型推理Chinese

    vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型，提供兼容 OpenAI 的 API 接口及完整的高吞吐推理部署方案。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，支持 100 万 token 上下文并提供 BF16 与 NVFP4 权重。

    Why it matters: 文章提供了在多种硬件平台上利用投机解码加速运行该智能体模型的完整部署配置与调优方法。

  3. vLLM 官方博客（网页）79

    vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型推理Chinese

    vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型，提供开箱即用的推理服务。该模型为 2.4T 参数的稀疏混合专家（MoE）架构，包含 512 个专家并采用全注意力与线性注意力的混合主干。除官方 FP8 和 BF16 权重外，vLLM 还支持 NVFP4 与 MXFP4 量化版本，可在单节点 NVIDIA B300 或 AMD MI355X 上完成高效推理。

    Why it matters: 原文提供了超大混合专家模型的推理部署命令与多硬件算子优化细节，便于工程团队评估大模型服务资源。

  4. vLLM 官方博客（网页）72

    vLLM-Omni 推出分布式分层卸载技术，支持超显存容量 DiT 模型高效推理Chinese

    vLLM-Omni 推出分布式分层卸载（DLO）技术，通过 Meta 设备与 mmap 加载、权重切分重构、双缓冲预取以及数据并行多并发，使单卡显存不足的超大视频生成模型可在多卡 GPU 或 NPU 上高效运行。

    Why it matters: vLLM-Omni 结合 mmap 与多流 AllGather 卸载降低显存与内存峰值，为大参数量扩散模型的低成本分布式推理提供了落地路径。

  6. vLLM 官方博客（网页）70

    vLLM 基于 Ray Direct Transport 实现大规模分片权重传输引擎Chinese

    vLLM 联合 NIXL 团队推出了基于 Ray Direct Transport（RDT）的原生分片权重传输引擎，在 48 台 8×H100 节点集群上实现 Kimi K2 模型 BF16 格式 7.9TB 权重在 7.53 秒内完成同步，聚合带宽达 1,049 GB/s。

    Why it matters: 针对在线强化学习超大 MoE 权重同步慢且显存开销高的问题，该方案通过分片点对点拉取与流水线重叠优化提供了高效的训推协同实践路径。

  7. vLLM 官方博客（网页）75

    vLLM-Omni 支持 MiniMax H3 系统级优化与 FastH3 实时推理Chinese

    vLLM-Omni 宣布完成对 MiniMax H3 的全栈推理优化并集成 FastVideo 的 4 步蒸馏方案 FastH3，实现了生成速度快于播放时长的端到端实时服务。

    Why it matters: 文章拆解了音视频联合生成从 DiT 到 VAE 及视频封装的全链路瓶颈，为多模态大模型的低延迟部署提供了系统级参考。

  9. vLLM 官方博客（网页）77

    vLLM 针对真实 Agent 工作负载推出全栈推理服务优化Chinese

    vLLM 针对多轮会话、长上下文及高前缀复用的 Agent 工作负载推出全栈推理优化方案，涵盖统一内存页混合 KV cache 管理、分层离线卸载、模型自适应并行及防队头阻塞调度。

    Why it matters: 原文梳理了长上下文与高前缀复用负载下的全栈推理优化方案，为大模型智能体部署和算力选型提供了实测参考。

  10. vLLM 官方博客（网页）72

    vLLM 引入 Hybrid HiSparse 混合稀疏卸载优化，支持 GLM 5.3 单机长上下文高并发推理Chinese

    vLLM 针对 GLM 5.3 推出 Hybrid HiSparse 混合稀疏卸载优化机制，使单个 8× H200 节点即可运行 100 万全长上下文并显著提升并发能力。

    Why it matters: 文章给出了混合稀疏卸载机制在单节点上的显存管理设计，为长上下文大模型推理的高并发部署提供了实用方案。

  11. vLLM 官方博客（网页）73

    vLLM 推出分层 KV Cache 卸载框架Chinese

    vLLM 正式推出分层 KV Cache 卸载框架（Tiered KV Cache Offloading），支持将加速卡显存中逐出的 KV 数据下沉至主机内存、文件系统、对象存储或远端节点以避免重复计算。

    Why it matters: 框架通过主机内存统筹多级存储与节点间共享，为长上下文和大并发下的显存瓶颈提供了低成本扩展方案。

  12. vLLM 官方博客（网页）67

    vLLM 发布 Kimi K3 性能优化：端到端吞吐提升达 2.8 倍Chinese

    vLLM 宣布针对 Kimi K3 模型完成全栈推理性能优化，在 B300 节点 8K/1K 负载下实现端到端吞吐提升 2.2–2.8 倍，TTFT 降低 72%–85%，平均延迟降低 56%–60%。

    Why it matters: 原文给出了从自适应调度、KDA 检查点到 ReplaySSM 的全栈优化细节，读者可据此参考混合架构大模型推理加速方案。

  13. vLLM 官方博客（网页）64

    vLLM 集成 PyNvVideoCodec 硬件视频解码以提升多 GPU 视频处理吞吐Chinese

    vLLM 宣布集成 PyNvVideoCodec 以支持 NVIDIA GPU 硬件视频解码（NVDEC），将视频解码工作负载从 CPU 转移至专用硬件。该方案消除了多 GPU 节点运行视觉语言模型时 CPU 易满载的瓶颈，在 8×H100 配置下使视频描述任务的吞吐量达到 CPU 解码方案的两倍以上。

    Why it matters: 通过将视频解码从 CPU 卸载至 GPU 硬件解码器，解决了多卡视觉模型推理中的预处理瓶颈并给出了部署配置参考。

  14. vLLM 官方博客（网页）78

    vLLM 推出 vllm-metal：支持 Apple Silicon 的并发推理服务栈Chinese

    vLLM 官方发布 vllm-metal，将 vLLM 的 V1 调度器、分页 KV 缓存和连续批处理服务栈引入 Apple Silicon，底层结合 MLX 与 Metal 执行。

    Why it matters: 原文给出了将 vLLM 分页调度栈移植到 Apple Silicon 的架构与内核实现，读者可以据此评估 Mac 本地多智能体并发推理的性能与部署方案。

  16. Google Developers · AI 筛选67

    Google 推出 autofinetune：在 TPU 上基于 Tunix 实现 LLM 自主后训练Chinese

    Google 推出开源项目 autofinetune，利用 Gemini Flash 3.7、Tunix 与 Cloud TPU 驱动 AI 智能体自主闭环完成大语言模型的监督微调（SFT）与 GRPO 强化学习后训练。

    Why it matters: 展示了如何通过规范配置让智能体在硬件集群上自主调优并验证变更，为模型后训练提供了可复用的自动化实践路径。

  18. Google Developers · AI 筛选67

    Google AI 订阅正式整合 Google Colab 高级权益Chinese

    Google 宣布即日起将 Google Colab 高级权益纳入 Google AI 订阅方案，订阅用户可优先访问更快的加速器与更强算力机型。其中 Google AI Ultra 订阅者还可解锁高级 GPU 访问以及不中断的后台执行能力，长时间训练无需保持浏览器标签页打开。已有 Colab 订阅的用户权益不受影响且支持权益叠加，相关更新将在接下来数周内逐步推送。

    Why it matters: 原文明确了不同订阅档位新增的硬件与后台运行权限，开发者可据此评估打包订阅的算力性价比。

  19. Google Developers · AI 筛选72

    Google Antigravity SDK 宣布支持本地 AI 模型工作流Chinese

    Google 宣布 Antigravity SDK 正式支持本地 AI 模型工作流，首发通过 Google AI Edge 的 LiteRT 支持 Gemma 4 26B A4B 模型离线运行。

    Why it matters: 官方为智能体开发框架引入端侧模型执行能力，通过云端规划与本地执行的混合编排方案，为平衡数据隐私与推理成本提供了具体参考。

  20. Google Developers · AI 筛选74

    Google Cloud API Gateway 支持将 REST API 直接转换为 MCP 工具Chinese

    Google Cloud API Gateway 推出公开预览版功能，支持直接充当远程 MCP 服务器，无需单独搭建与维护服务器即可将现有 REST API 转换为智能体可调用的 MCP 工具。

    Why it matters: 原文给出了通过注解规范将现有网关直转为协议端点的具体配置与限制，有助于降低企业工具接入智能体的运维成本。