AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
LlamaIndex 在 LlamaParse 平台推出极低延迟的结构化抽取层 Turbo Beta 版，定价为每页 35 credits。Turbo 省去独立解析步骤并采用多页并行处理，在中长文档场景下单页耗时可降至约 0.5 秒，在 ExtractBench 评测中单页中位数耗时为 3.7 秒且 F1 分数为 0.84。
推薦理由：原文展示了并行页面抽取在长文档场景下的低延迟表现与适用场景，有助于读者评估实时结构化提取方案。
vLLM 发布投机采样训练框架 Speculators v0.5.0，引入 DFlash 块扩散算法并统一了在线与离线训练流程。DFlash 采用非因果注意力与锚点位置机制，在单次前向传播中生成整块草稿 token，在 Gemma 4 31B 评测中取得了低于 Eagle 3 的 token 间延迟。
推薦理由：材料详细介绍了单次前向传播生成草稿词的机制与训练解耦方案，为大模型推理加速与投机采样落地提供了参考路径。
vLLM 推出原生 RL API，提供标准化的权重同步接口并增强对大规模异步强化学习推理服务的支持。
推薦理由：文章系统介绍了该接口的分层设计与两阶段暂停协议，为大规模强化学习训练与推理协同提供了标准化的工程参考方案。
LlamaIndex 宣布开源 PDF 解析工具 LiteParse 迎来重要更新，通过在其 PDFium 分支中引入 mimalloc 内存优化与热路径缓存，将文本提取耗时降低 20–25%，在无 OCR 情况下达到平均 2.8ms/页的提取速度和 3.9ms/页的 Markdown 渲染速度。
推薦理由：文章详细拆解了通过改造底层 PDFium 内存分配提升无模型解析吞吐的工程细节，为文档预处理与路由分流提供了实测基准。
vLLM-Omni 宣布集成 Intel 的 AutoRound 训练后量化算法，支持在 Intel XPU 和 NVIDIA GPU 上对多模态 Omni、扩散视频及图像生成模型进行 W4A16 量化推理。
推薦理由：原文给出了端到端离线量化与直接部署的工作流及实测数据，读者可以据此评估多模态与扩散模型在低显存环境下的推理部署方案。
vLLM 在 Semantic Router 中正式引入会话感知智能体路由 SAAR，通过会话级状态控制解决长流程 Agent 在单轮 prompt 路由下易打断工具调用与丢失前缀缓存的问题。
推薦理由：原文针对长流程智能体多轮调度痛点，提出结合工具循环锁与前缀缓存定价的会话级路由策略，为大模型推理网关降本与连续性保障提供了工程参考。
vLLM 正式宣布为开源模型 NVIDIA Nemotron 3 Ultra 提供首发推理支持，支持通过 OpenAI 兼容 API 提供服务。Nemotron 3 Ultra 拥有 550B 总参数量与 55B 激活参数，采用 Transformer-Mamba 混合 MoE 架构，支持最高 1M tokens 上下文及 NVFP4 与 BF16 精度。
推薦理由：原文提供了模型规格与完整的服务启动配置，开发者可以据此在多卡集群上快速部署该长程推理模型。
vLLM 官方发布 Semantic Router v0.3 Themis，将语义路由升级为状态化、可观测的生产级控制平面。该版本统一了本地、控制台与 Kubernetes 的 v0.3 规范配置契约，推出支持工具循环硬锁定与路由器会话记忆的会话感知智能体路由（SAAR），并新增将原始信号规范化为决策策略的 Projection 机制。
推薦理由：材料系统梳理了语义路由器从信号到决策的流水线设计与状态化路由机制，为多模型调度与生产级推理网关架构提供了完整参考。
vLLM 社区正式发布开源大语言模型强化学习后训练框架 vime，将 slime 的训练架构与 vLLM 的推理引擎连接至统一的 Megatron 强化学习流水线。
推薦理由：框架将成熟训练栈与 vLLM 推理引擎打通，读者可借此了解如何在统一硬件与解耦架构下保障强化学习训推一致性。
vLLM 宣布原生支持基于 Gemma4 构建的 26B 离散扩散大语言模型 DiffusionGemma，成为该框架首个原生接入的 dLLM。实现上通过 Model Runner V2 的 ModelState 抽象管理逐请求状态，复用投机解码路径与动态序列级因果注意力，支持单批次内自回归与双向去噪混合处理。
推薦理由：原文详述了利用 ModelState 抽象与投机解码路径接入扩散大模型的技术方案，为非自回归推理服务提供了工程实践参考。
vLLM 宣布首发支持 MiniMax M3 的 BF16 与 MXFP8 检查点，提供 1M token 上下文的原生多模态推理服务。该方案针对 MiniMax 稀疏注意力（MSA）设计了 128-token 粒度的分块预填充与解码算子，集成 EAGLE3 投机解码及工具与思考解析器。
推薦理由：文章给出了稀疏注意力算子实现、投机解码调优及软硬件启动参数，为百万长上下文多模态模型的低延迟上线提供了具体参考。
vLLM 在其语义路由器（vLLM-SR）中推出 Fusion 原语，支持并发调用多模型面板生成候选答案，并通过裁判模型分析共识与分歧后合成最终回复。该机制提供 vllm-sr/auto 自动路由、vllm-sr/fusion 显式调用及请求级插件覆盖三种入口，支持全链路跟踪记录与按策略容错。
推薦理由：原文给出了多模型面板协同与裁判合成的具体路由机制，为生产环境按需平衡延迟与模型组合质量提供了可落地参考。
vLLM 官方发布基于语义路由器的微智能体运行时，通过统一的 `vllm-sr/auto` API 接口在服务层内调度多模型协作。系统支持 Confidence、Ratings、ReMoM、Fusion 和 Workflows 五种协同回路模式，由路由层统一管理预算、并发上限、容错与输出协议。
推薦理由：文章把多模型协同机制下沉为开源推理服务基础设施，读者可以借此了解如何在单接口下编排多模型推理策略。
腾讯混元 AI Infra 团队打造的高性能算子库 HPC-Ops 正式合入 vLLM 主干分支，作为第一类原生 Attention 与 MoE 后端提供支持。
推薦理由：原文给出了动态负载均衡解码调度与全融合 FP8 MoE 算子的实测数据，读者可以参考其在长短序列混杂推理与 H20 硬件上的延迟优化收益。
vLLM 团队宣布强化学习框架 vime 正式支持 AMD ROCm 生态，可在 AMD Instinct MI355X 等 GPU 上开箱即用运行端到端强化学习后训练。
推薦理由：官方提供了预构建容器与端到端实测数据，开发者可直接在 AMD 硬件上复用 vLLM 的强化学习后训练工作流。
vLLM 宣布通过 V1 版本的公共连接器接口集成 TileRT 0.1.5 解码引擎，实现零侵入代码修改的 Prefill-Decode 分离式推理。该方案支持原生 vLLM 负责 Prefill、TileRT 负责低延迟 Decode，二者可通过 RDMA 传输 KV 缓存并在同一服务层共存。
推薦理由：原文给出了零侵入复用现有推理生态的具体架构与配置，有助于读者评估低延迟场景下的分离式推理改造方案。
vLLM 宣布首发支持 Thinking Machines Lab 推出的 1T 参数原生多模态模型 TML Inkling，覆盖 NVFP4 与 BF16 两个版本，原生支持文本、图像与音频输入及最高 1M 上下文。
推薦理由：框架通过短卷积分片与通信融合等算子优化完成了万亿多模态模型适配，为超大模型长上下文推理提供了工程参考。
vLLM Semantic Router 宣布从单一请求路由演进为构建、评测和运行 Mixture-of-Models（MoM）的系统引擎，对外提供统一的模型交互接口。
推薦理由：文章阐明了将分散的独立大模型封装为统一 MoM 系统的架构设计，读者可以了解跨硬件和多模型协同调度的工程实现路径。
vLLM 宣布将为月之暗面（Moonshot AI）预计 7 月 27 日开源的 2.8T 参数模型 Kimi K3 提供 Day-0 生产级推理支持。针对 KDA 循环注意力机制，vLLM 将物理状态块大小与前缀匹配粒度解耦，实现了细粒度前缀缓存命中与写时复制。
推薦理由：文章详细拆解了针对 KDA 循环注意力与 MXFP4 MoE 的前缀缓存重构及算子优化，读者可据此了解超大混合架构在开源引擎中的工程落地细节。
vLLM 发布实验性插件 vLLM AFD Plugin，通过将 MoE 模型的 Attention 与 FFN 拆分为独立部署的服务，实现两者的独立扩缩容。插件支持 NVIDIA GPU 与华为昇腾 NPU 后端，兼容 DeepSeek V2/V3 及 GLM MoE 等架构，无需修改 vLLM 源码即可通过标准插件接口接入。
推薦理由：原文解析了通过解耦 Attention 与 FFN 服务实现 MoE 独立扩缩容的架构设计与实测数据，为大模型推理部署优化提供了参考。