vLLM 发布大模型强化学习后训练框架 vimeChinese
vLLM 社区正式发布开源大语言模型强化学习后训练框架 vime，将 slime 的训练架构与 vLLM 的推理引擎连接至统一的 Megatron 强化学习流水线。
Why it matters: 框架将成熟训练栈与 vLLM 推理引擎打通，读者可借此了解如何在统一硬件与解耦架构下保障强化学习训推一致性。
Product updates
All topicsAI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
Latest selected
1181–1200 of 1,375vLLM 官方博客（网页）SelectedAI score6969 vLLM 官方博客（网页）SelectedAI score7474 vLLM 原生支持扩散大语言模型 DiffusionGemmaChinese
vLLM 宣布原生支持基于 Gemma4 构建的 26B 离散扩散大语言模型 DiffusionGemma，成为该框架首个原生接入的 dLLM。实现上通过 Model Runner V2 的 ModelState 抽象管理逐请求状态，复用投机解码路径与动态序列级因果注意力，支持单批次内自回归与双向去噪混合处理。
Why it matters: 原文详述了利用 ModelState 抽象与投机解码路径接入扩散大模型的技术方案，为非自回归推理服务提供了工程实践参考。
vLLM 官方博客（网页）SelectedAI score7676 vLLM 首发支持 MiniMax M3：实现 1M 上下文多模态稀疏注意力推理Chinese
vLLM 宣布首发支持 MiniMax M3 的 BF16 与 MXFP8 检查点，提供 1M token 上下文的原生多模态推理服务。该方案针对 MiniMax 稀疏注意力（MSA）设计了 128-token 粒度的分块预填充与解码算子，集成 EAGLE3 投机解码及工具与思考解析器。
Why it matters: 文章给出了稀疏注意力算子实现、投机解码调优及软硬件启动参数，为百万长上下文多模态模型的低延迟上线提供了具体参考。
vLLM 官方博客（网页）SelectedAI score7070 vLLM Semantic Router 推出 Fusion 多模型融合路由功能Chinese
vLLM 在其语义路由器（vLLM-SR）中推出 Fusion 原语，支持并发调用多模型面板生成候选答案，并通过裁判模型分析共识与分歧后合成最终回复。该机制提供 vllm-sr/auto 自动路由、vllm-sr/fusion 显式调用及请求级插件覆盖三种入口，支持全链路跟踪记录与按策略容错。
Why it matters: 原文给出了多模型面板协同与裁判合成的具体路由机制，为生产环境按需平衡延迟与模型组合质量提供了可落地参考。
vLLM 官方博客（网页）SelectedAI score6969 vLLM 推出语义路由器微智能体运行时并开放 vllm-sr/autoChinese
vLLM 官方发布基于语义路由器的微智能体运行时，通过统一的 `vllm-sr/auto` API 接口在服务层内调度多模型协作。系统支持 Confidence、Ratings、ReMoM、Fusion 和 Workflows 五种协同回路模式，由路由层统一管理预算、并发上限、容错与输出协议。
Why it matters: 文章把多模型协同机制下沉为开源推理服务基础设施，读者可以借此了解如何在单接口下编排多模型推理策略。
vLLM 官方博客（网页）SelectedAI score6363 vLLM 集成腾讯混元 HPC-Ops Attention 与 MoE 高性能后端Chinese
腾讯混元 AI Infra 团队打造的高性能算子库 HPC-Ops 正式合入 vLLM 主干分支，作为第一类原生 Attention 与 MoE 后端提供支持。
Why it matters: 原文给出了动态负载均衡解码调度与全融合 FP8 MoE 算子的实测数据，读者可以参考其在长短序列混杂推理与 H20 硬件上的延迟优化收益。
vLLM 官方博客（网页）SelectedAI score6464 vLLM 强化学习框架 vime 适配 ROCm，支持在 AMD Instinct GPU 上端到端后训练Chinese
vLLM 团队宣布强化学习框架 vime 正式支持 AMD ROCm 生态，可在 AMD Instinct MI355X 等 GPU 上开箱即用运行端到端强化学习后训练。
Why it matters: 官方提供了预构建容器与端到端实测数据，开发者可直接在 AMD 硬件上复用 vLLM 的强化学习后训练工作流。
vLLM 官方博客（网页）SelectedAI score6868 vLLM 集成 TileRT 解码引擎实现低延迟 PD 分离推理Chinese
vLLM 宣布通过 V1 版本的公共连接器接口集成 TileRT 0.1.5 解码引擎，实现零侵入代码修改的 Prefill-Decode 分离式推理。该方案支持原生 vLLM 负责 Prefill、TileRT 负责低延迟 Decode，二者可通过 RDMA 传输 KV 缓存并在同一服务层共存。
Why it matters: 原文给出了零侵入复用现有推理生态的具体架构与配置，有助于读者评估低延迟场景下的分离式推理改造方案。
vLLM 官方博客（网页）SelectedAI score7070 vLLM 官方首发支持 1T 多模态模型 TML InklingChinese
vLLM 宣布首发支持 Thinking Machines Lab 推出的 1T 参数原生多模态模型 TML Inkling，覆盖 NVFP4 与 BF16 两个版本，原生支持文本、图像与音频输入及最高 1M 上下文。
Why it matters: 框架通过短卷积分片与通信融合等算子优化完成了万亿多模态模型适配，为超大模型长上下文推理提供了工程参考。
vLLM 官方博客（网页）SelectedAI score6767 vLLM Semantic Router 升级架构：从智能路由演进为 Mixture-of-Models 系统引擎Chinese
vLLM Semantic Router 宣布从单一请求路由演进为构建、评测和运行 Mixture-of-Models（MoM）的系统引擎，对外提供统一的模型交互接口。
Why it matters: 文章阐明了将分散的独立大模型封装为统一 MoM 系统的架构设计，读者可以了解跨硬件和多模型协同调度的工程实现路径。
vLLM 官方博客（网页）SelectedAI score7373 vLLM 预览 Kimi K3 生产级推理支持：重构 KDA 前缀缓存并优化 MXFP4 MoEChinese
vLLM 宣布将为月之暗面（Moonshot AI）预计 7 月 27 日开源的 2.8T 参数模型 Kimi K3 提供 Day-0 生产级推理支持。针对 KDA 循环注意力机制，vLLM 将物理状态块大小与前缀匹配粒度解耦，实现了细粒度前缀缓存命中与写时复制。
Why it matters: 文章详细拆解了针对 KDA 循环注意力与 MXFP4 MoE 的前缀缓存重构及算子优化，读者可据此了解超大混合架构在开源引擎中的工程落地细节。
vLLM 官方博客（网页）SelectedAI score7070 vLLM 推出 AFD 插件：解耦 Attention 与 FFN 实现 MoE 灵活推理Chinese
vLLM 发布实验性插件 vLLM AFD Plugin，通过将 MoE 模型的 Attention 与 FFN 拆分为独立部署的服务，实现两者的独立扩缩容。插件支持 NVIDIA GPU 与华为昇腾 NPU 后端，兼容 DeepSeek V2/V3 及 GLM MoE 等架构，无需修改 vLLM 源码即可通过标准插件接口接入。
Why it matters: 原文解析了通过解耦 Attention 与 FFN 服务实现 MoE 独立扩缩容的架构设计与实测数据，为大模型推理部署优化提供了参考。
vLLM 官方博客（网页）SelectedAI score8181 vLLM 宣布首日支持月之暗面 Kimi K3Chinese
vLLM 宣布首日支持月之暗面 2.8T 参数模型 Kimi K3，提供混合 KDA 前缀缓存与 DSpark 投机解码等生产级部署方案。在 16 卡 NVIDIA GB300 NVL72 上配合 DSpark 投机解码单用户吞吐可达 370 tok/s，解码速度提升 3.14 倍。
Why it matters: 文章详细拆解了针对超大混合架构模型的缓存改造与投机解码方案，为同类长上下文 MoE 的高效部署提供了完整参考。
vLLM 官方博客（网页）SelectedAI score6565 vLLM 与 Speculators 支持 P-EAGLE、DFlash 和 DSpark 并行推测解码算法Chinese
Speculators 与 vLLM 宣布全面开源支持 P-EAGLE、DFlash 和 DSpark 三种并行推测解码算法，摆脱了 EAGLE-3 等传统框架自回归逐词生成候选 token 的延迟瓶颈。
Why it matters: 原文解析了三种并行推测解码架构与训练优化机制，为大模型在线服务降低草稿延迟与参数调优负担提供了工程参考。
Cloudflare Blog · 网络基础设施SelectedAI score6969 Cloudflare 发布开源内容管理系统 EmDash 1.0 并上线去中心化插件注册表Chinese
Cloudflare 正式发布基于 Astro 架构的开源内容管理系统 EmDash 1.0，并推出基于 AT Protocol 的去中心化插件注册表。系统内置 MCP 服务器支持 AI 智能体直接调用管理，插件通过 Dynamic Worker 或 workerd 独立沙盒运行并限制权限，同时开源了 AI 建站工具 EmDash Build Alpha 版本。
Why it matters: EmDash 结合了 Astro 框架与沙盒化插件隔离机制，为开发者和 AI 智能体协作构建与管理网站提供了可参考的架构实践。
Cloudflare Blog · 网络基础设施SelectedAI score7272 Cloudflare 发布 Kitesurf 浏览器更新：支持 WebMCP 与终端渲染Chinese
Cloudflare 宣布为其运行在 Workers 上的智能体专用浏览器 Kitesurf 推出重大更新，新增了对 WebMCP 协议的全面支持，使 AI 智能体可直接调用网页暴露的工具函数。
Why it matters: 原文展示了边缘无头浏览器专为智能体优化延迟与协议接入的演进路径，有助于开发者评估轻量化网页自动化方案。
Cloudflare Blog · 网络基础设施SelectedAI score6666 Cloudflare 开源代码生成流水线 ForgeChinese
Cloudflare 宣布开源代码生成流水线 Forge，采用 Apache 2.0 协议，支持根据 OpenAPI 规范自动生成 SDK、CLI、API 文档及 MCP 服务。
Why it matters: 文章详细说明了在大规模微服务和智能体交互场景下，如何通过可插拔流水线链式生成跨语言 SDK、CLI、文档与 MCP 服务。
Cloudflare Blog · 网络基础设施SelectedAI score6363 Cloudflare 发布 Vinext 1.0，基于 Vite 实现 Next.js 应用跨平台部署Chinese
Cloudflare 正式发布开源框架 Vinext 1.0，支持将基于 App Router 或 Pages Router 的 Next.js 项目迁移至 Vite 底座并部署到 Cloudflare Workers、Netlify 及 AWS Lambda 等平台。
Why it matters: 该框架打破了 Next.js 与特定托管平台的强绑定，为开发者评估将大型全栈应用迁移至边缘运行时提供了具体的兼容性路径与工具链。
Cloudflare Blog · 网络基础设施SelectedAI score7878 Cloudflare 发布面向智能体的全新 CLI 工具 cfChinese
Cloudflare 宣布推出面向 AI 智能体开发的全新命令行工具 cf，覆盖全平台超过 3,000 项 API 操作，并开启全球公开测试。cf 默认采用紧凑 JSON 输出以节省上下文，提供支持自然语言检索指令的 `cf cli search`，并引入基于 TypeScript 的全新配置文件 `cloudflare.config.ts` 与 Vite 开发环境。
Why it matters: 工具将整个平台三千多项 API 封装为类型化且适合智能体检索调用的命令行，为自动化基础设施管理提供了直接参考。
Hacker News · AISelectedAI score6565 Modal 推出 AI-SQL 推理引擎 Quail，多表关联查询吞吐达 vLLM 的 10 倍以上Chinese
Modal 与卡内基梅隆大学联合推出专为 AI-SQL 负载设计的推理层 Quail（QUery-Aware Inference Layer），通过联合优化查询规划器与推理引擎提升分析型数据库中的大模型吞吐。
Why it matters: 原文针对分析型数据库中的大模型推理负载，通过联合查询规划与缓存管理协同优化，为高吞吐纯 Prefill 场景提供了可借鉴的架构方案。