本文へスキップ

すべての記事

今日 9 件
9月30日水
  1. vLLM 官方博客（网页）77

    vLLM 详解解码上下文并行 DCP：长上下文智能体推理吞吐提升 3 倍中国語

    vLLM 官方详解了解码上下文并行（DCP）机制，通过沿序列维度将 KV Cache 分片到多张 GPU，在长上下文智能体负载下实现相比标准张量并行 3 倍的吞吐提升。

    推薦理由：针对长上下文推理中多头及潜变量注意力导致的显存冗余，原文给出了按序列分片提升并发与吞吐的实现方案。

  2. vLLM 官方博客（网页）75

    vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型推理中国語

    vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型，提供兼容 OpenAI 的 API 接口及完整的高吞吐推理部署方案。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，支持 100 万 token 上下文并提供 BF16 与 NVFP4 权重。

    推薦理由：文章提供了在多种硬件平台上利用投机解码加速运行该智能体模型的完整部署配置与调优方法。

  3. vLLM 官方博客（网页）79

    vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型推理中国語

    vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型，提供开箱即用的推理服务。该模型为 2.4T 参数的稀疏混合专家（MoE）架构，包含 512 个专家并采用全注意力与线性注意力的混合主干。除官方 FP8 和 BF16 权重外，vLLM 还支持 NVFP4 与 MXFP4 量化版本，可在单节点 NVIDIA B300 或 AMD MI355X 上完成高效推理。

    推薦理由：原文提供了超大混合专家模型的推理部署命令与多硬件算子优化细节，便于工程团队评估大模型服务资源。

  5. vLLM 官方博客（网页）72

    vLLM-Omni 推出分布式分层卸载技术，支持超显存容量 DiT 模型高效推理中国語

    vLLM-Omni 推出分布式分层卸载（DLO）技术，通过 Meta 设备与 mmap 加载、权重切分重构、双缓冲预取以及数据并行多并发，使单卡显存不足的超大视频生成模型可在多卡 GPU 或 NPU 上高效运行。

    推薦理由：vLLM-Omni 结合 mmap 与多流 AllGather 卸载降低显存与内存峰值，为大参数量扩散模型的低成本分布式推理提供了落地路径。

  6. vLLM 官方博客（网页）61

    VeRL-Omni v0.2.0 发布：加速扩散模型强化学习与全模态训练中国語

    VeRL-Omni 正式发布 v0.2.0 版本，重点提升扩散模型与全模态强化学习的训练吞吐与系统稳定性。

    推薦理由：该版本通过请求级批处理和标准化适配器，解决了扩散模型与全模态大模型强化学习中高延迟和架构耦合的问题。

  7. vLLM 官方博客（网页）42

    IsoExec：通过统一执行消除 SkyRL 训练与推理不一致中国語

    SkyRL 引入跨框架统一执行抽象 IsoExec，通过统一执行契约与对齐的批次无关算子，消除 vLLM 推理引擎与 Megatron 训练引擎之间的数值执行不一致。在单台 8×H100 节点运行 Qwen3.5-35B-A3B 同步 DAPO 训练时，IsoExec 将采样与训练间的平均 logprob 差异降至 1e-6 以下，50 步内的额外开销为 25%。

  8. vLLM 官方博客（网页）70

    vLLM 基于 Ray Direct Transport 实现大规模分片权重传输引擎中国語

    vLLM 联合 NIXL 团队推出了基于 Ray Direct Transport（RDT）的原生分片权重传输引擎，在 48 台 8×H100 节点集群上实现 Kimi K2 模型 BF16 格式 7.9TB 权重在 7.53 秒内完成同步，聚合带宽达 1,049 GB/s。

    推薦理由：针对在线强化学习超大 MoE 权重同步慢且显存开销高的问题，该方案通过分片点对点拉取与流水线重叠优化提供了高效的训推协同实践路径。

  9. vLLM 官方博客（网页）69

    vLLM 在 AMD GPU 上的投机解码实践指南与性能实测中国語

    vLLM 官方发布在 AMD Instinct MI300X 与 MI355X GPU 上实现投机解码的实践指南与评测结果，系统评估了单次目标模型前向验证多个草稿 token 的加速效果。

    推薦理由：文章详细对比了五种投机解码机制在不同模型与负载下的吞吐表现，为大模型推理加速与参数调优提供了可迁移的工程参考。

  10. vLLM 官方博客（网页）75

    vLLM-Omni 支持 MiniMax H3 系统级优化与 FastH3 实时推理中国語

    vLLM-Omni 宣布完成对 MiniMax H3 的全栈推理优化并集成 FastVideo 的 4 步蒸馏方案 FastH3，实现了生成速度快于播放时长的端到端实时服务。

    推薦理由：文章拆解了音视频联合生成从 DiT 到 VAE 及视频封装的全链路瓶颈，为多模态大模型的低延迟部署提供了系统级参考。

  11. vLLM 官方博客（网页）63

    vLLM 推出 Tenstorrent 硬件插件 vLLM TT Plugin中国語

    vLLM 正式推出 vLLM TT Plugin，通过树外平台插件机制将 Tenstorrent 硬件接入 vLLM 推理生态，对外保持兼容 OpenAI 格式 API。

    推薦理由：文章详细展示了非 GPU 网格架构适配 vLLM 的工程实践，为异构芯片接入主流推理框架提供了调度与并行设计参考。

  12. vLLM 官方博客（网页）77

    vLLM 针对真实 Agent 工作负载推出全栈推理服务优化中国語

    vLLM 针对多轮会话、长上下文及高前缀复用的 Agent 工作负载推出全栈推理优化方案，涵盖统一内存页混合 KV cache 管理、分层离线卸载、模型自适应并行及防队头阻塞调度。

    推薦理由：原文梳理了长上下文与高前缀复用负载下的全栈推理优化方案，为大模型智能体部署和算力选型提供了实测参考。

  13. vLLM 官方博客（网页）72

    vLLM 引入 Hybrid HiSparse 混合稀疏卸载优化，支持 GLM 5.3 单机长上下文高并发推理中国語

    vLLM 针对 GLM 5.3 推出 Hybrid HiSparse 混合稀疏卸载优化机制，使单个 8× H200 节点即可运行 100 万全长上下文并显著提升并发能力。

    推薦理由：文章给出了混合稀疏卸载机制在单节点上的显存管理设计，为长上下文大模型推理的高并发部署提供了实用方案。

  14. LlamaIndex 官方博客（网页）60

    LlamaIndex 推出 ExtractBench 企业文档提取评测基准并上线 Agentic Plus中国語

    LlamaIndex 开源了 ExtractBench 企业文档数据提取评测基准，并推出 LlamaExtract Agentic Plus 模式。该基准涵盖 8 个商业领域、67 类文档共 370 份企业文件（4,869 页），联合评估长记录完整性、扫描与手写体识别、视觉溯源及单页运行成本。

    推薦理由：评测将长文档完整性、扫描与手写识别以及单页成本结合，为企业评估文档提取系统提供了可量化的参考基线。

  15. vLLM 官方博客（网页）73

    vLLM 推出分层 KV Cache 卸载框架中国語

    vLLM 正式推出分层 KV Cache 卸载框架（Tiered KV Cache Offloading），支持将加速卡显存中逐出的 KV 数据下沉至主机内存、文件系统、对象存储或远端节点以避免重复计算。

    推薦理由：框架通过主机内存统筹多级存储与节点间共享，为长上下文和大并发下的显存瓶颈提供了低成本扩展方案。

  17. vLLM 官方博客（网页）67

    vLLM 发布 Kimi K3 性能优化：端到端吞吐提升达 2.8 倍中国語

    vLLM 宣布针对 Kimi K3 模型完成全栈推理性能优化，在 B300 节点 8K/1K 负载下实现端到端吞吐提升 2.2–2.8 倍，TTFT 降低 72%–85%，平均延迟降低 56%–60%。

    推薦理由：原文给出了从自适应调度、KDA 检查点到 ReplaySSM 的全栈优化细节，读者可据此参考混合架构大模型推理加速方案。

  20. vLLM 官方博客（网页）69

    vLLM 团队基于 GB300 NVL72 与 Mooncake 训练 Kimi K3 的 DSpark 投机草稿模型中国語

    vLLM 团队通过 Speculators 训练库与 Mooncake 传输引擎，在 Verda 提供的 GB300 NVL72 机架上完成了 2.8T 参数 Kimi K3 模型的 DSpark 投机草稿模型训练与部署。

    推薦理由：原文给出了基于 Mooncake 跨节点传输隐藏状态训练超大模型投机草稿模型的完整拓扑，读者可直接参考其多机训练与部署配置。

  21. vLLM 官方博客（网页）64

    vLLM 集成 PyNvVideoCodec 硬件视频解码以提升多 GPU 视频处理吞吐中国語

    vLLM 宣布集成 PyNvVideoCodec 以支持 NVIDIA GPU 硬件视频解码（NVDEC），将视频解码工作负载从 CPU 转移至专用硬件。该方案消除了多 GPU 节点运行视觉语言模型时 CPU 易满载的瓶颈，在 8×H100 配置下使视频描述任务的吞吐量达到 CPU 解码方案的两倍以上。

    推薦理由：通过将视频解码从 CPU 卸载至 GPU 硬件解码器，解决了多卡视觉模型推理中的预处理瓶颈并给出了部署配置参考。

  22. vLLM 官方博客（网页）65

    vLLM 详解 Qwen3.8-2.4T 的 PD 分离推理优化实践中国語

    vLLM 在 GB300 NVL72 集群上实现了千问 Qwen3.8-2.4T 的 Prefill-Decode（PD）分离式推理优化，在 8K/1K 负载下达成单 GPU 5000 token/s 吞吐量以及每用户 180 token/s 的交互速率。

    推薦理由：文章系统拆解了超大混合架构模型在显卡上的显存预算计算与拓扑选择，为超大规模模型落地分离式推理提供了可复用的调优方法论。

  23. vLLM 官方博客（网页）78

    vLLM 推出 vllm-metal：支持 Apple Silicon 的并发推理服务栈中国語

    vLLM 官方发布 vllm-metal，将 vLLM 的 V1 调度器、分页 KV 缓存和连续批处理服务栈引入 Apple Silicon，底层结合 MLX 与 Metal 执行。

    推薦理由：原文给出了将 vLLM 分页调度栈移植到 Apple Silicon 的架构与内核实现，读者可以据此评估 Mac 本地多智能体并发推理的性能与部署方案。

  24. vLLM 官方博客（网页）71

    vLLM 支持 Gumbel-max 无失真文本水印功能中国語

    vLLM 宣布支持基于 Gumbel-max 算法的无失真文本水印功能，在不改变模型原始输出分布的前提下实现文本来源溯源。

    推薦理由：官方详解了如何在高性能推理引擎中落地无失真文本水印，对兼顾生成质量、投机解码与吞吐性能有直接工程参考价值。

  25. vLLM 官方博客（网页）66

    深入解析 vLLM：高吞吐大语言模型推理系统的架构剖析中国語

    vLLM 官方博客发布技术长文深度剖析其 V1 推理引擎，系统拆解从单卡底层内核到大规模分布式服务的完整架构。文章详细解读了调度器运行机制、PagedAttention 内存分配与连续批处理流程，并深入探讨分块 Prefill、前缀缓存、基于有限状态机的引导解码、推测解码以及 Prefill/Decode 分离等高级特性。

    推薦理由：文章从单机引擎内核层层拆解到多节点分布式服务，为理解和优化高吞吐大模型推理系统提供了完整清晰的架构参考。

  26. Google Developers · AI 筛选67

    Google 推出 autofinetune：在 TPU 上基于 Tunix 实现 LLM 自主后训练中国語

    Google 推出开源项目 autofinetune，利用 Gemini Flash 3.7、Tunix 与 Cloud TPU 驱动 AI 智能体自主闭环完成大语言模型的监督微调（SFT）与 GRPO 强化学习后训练。

    推薦理由：展示了如何通过规范配置让智能体在硬件集群上自主调优并验证变更，为模型后训练提供了可复用的自动化实践路径。

  27. Google Developers · AI 筛选65

    Google 详解如何构建面向意图判断的零信任 AI Agent 运行时安全体系中国語

    Google 发布零信任 AI Agent 系列第二篇指南，介绍如何将安全边界从代码级检查迁移至平台运行时治理。方案通过 Model Armor 在边缘拦截提示词注入与敏感数据，利用基于大模型的语义治理策略（Semantic Governance Policies）在工具调用前校验业务意图，并通过 Agent 异常检测捕获多轮会话攻击并实现无须重构代码的闭环修复。

    推薦理由：原文给出了结合边缘过滤语义治理与多轮异常检测的 Agent 运行时防护架构读者可直接参考开源示例提升系统的安全性。

  29. Google Developers · AI 筛选64

    Google 与 Speakeasy 合作开源 OpenAPI 客户端 SDK 生成套件中国語

    Google 宣布与 Speakeasy 合作将 OpenAPI 代码生成套件在 AGPLv3 协议下开源，用于生成多语言 SDK、Agent 原生 CLI 以及文档 MCP 服务端。

    推薦理由：原文结合闭源供应商停运的迁移经历，展示了结合确定性生成器与 Agent 维护多语言 SDK 及 MCP 服务的工程实践。

  30. Google Developers · AI 筛选67

    Google AI 订阅正式整合 Google Colab 高级权益中国語

    Google 宣布即日起将 Google Colab 高级权益纳入 Google AI 订阅方案，订阅用户可优先访问更快的加速器与更强算力机型。其中 Google AI Ultra 订阅者还可解锁高级 GPU 访问以及不中断的后台执行能力，长时间训练无需保持浏览器标签页打开。已有 Colab 订阅的用户权益不受影响且支持权益叠加，相关更新将在接下来数周内逐步推送。

    推薦理由：原文明确了不同订阅档位新增的硬件与后台运行权限，开发者可据此评估打包订阅的算力性价比。

  31. Google Developers · AI 筛选72

    Google Antigravity SDK 宣布支持本地 AI 模型工作流中国語

    Google 宣布 Antigravity SDK 正式支持本地 AI 模型工作流，首发通过 Google AI Edge 的 LiteRT 支持 Gemma 4 26B A4B 模型离线运行。

    推薦理由：官方为智能体开发框架引入端侧模型执行能力，通过云端规划与本地执行的混合编排方案，为平衡数据隐私与推理成本提供了具体参考。

  32. Google Developers · AI 筛选63

    Google 基于 MaxText 与 TPU 完整复现 Olmo 3 7B 预训练流程中国語

    Google 团队使用基于 JAX 的 MaxText 框架与 Cloud TPU，从头完整复现了 Ai2 的 Olmo 3 7B 第一阶段约 5.9T token 预训练与第二阶段 mid-training 退火训练。

    推薦理由：原文系统复盘了在 TPU 上复现 PyTorch 大模型预训练的工程细节与性能调优，读者可据此参考跨框架对齐与断点续训的验证方法。

  33. Google Developers · AI 筛选74

    Google Cloud API Gateway 支持将 REST API 直接转换为 MCP 工具中国語

    Google Cloud API Gateway 推出公开预览版功能，支持直接充当远程 MCP 服务器，无需单独搭建与维护服务器即可将现有 REST API 转换为智能体可调用的 MCP 工具。

    推薦理由：原文给出了通过注解规范将现有网关直转为协议端点的具体配置与限制，有助于降低企业工具接入智能体的运维成本。

  38. Ollama 更新72

    Ollama v0.35.0 发布：新增决策模型接口与概率评分输出中国語

    Ollama 发布 v0.35.0 版本，通过 /v1/systemone 接口新增对决策模型的支持。该功能基于 TypeSafe 的 Jev API，使模型直接返回选项、概率和分值而非生成文本，适用于工单分拣、模型路由和内容分类等场景，首批支持 Nimble 和 Tev1 模型。新版本还修复了 MLX 模型下载挂起的问题，并优化了设置加载与已弃用参数的告警处理。

    推薦理由：原文给出了决策模型的调用接口与结构化返回示例，展示了本地运行时从文本生成拓展至精准分类与路由的能力。

  39. LangChain 官方博客67

    LangSmith 评估模块正式支持 TypeSafe Jev 模型中国語

    LangChain 宣布在 LangSmith Evals 中上线 TypeSafe AI 的决策模型 Jev，作为第三类评估器用于智能体评测。Jev 不生成自由文本，而是直接对智能体 Trace 并行返回布尔概率、选项或评分等类型化结果，分类场景下速度较同类大语言模型快最高约 200 倍且成本降低最高约 450 倍。

    推薦理由：原文给出了在智能体评估中以快速结构化模型替代生成式大模型的延迟与成本实测数据，读者可以据此评估在线高频监控的可行性。