AIDC
DC AI 热点

全部 AI 动态

9月22日2026-09-22
vLLM 更新✦ 精选AI 评分 75/10013:20

大模型推理框架发布 v0.30.0 版本:新增 DeepSeek-V4.1、GLM-5.3 等多款模型及优化支持

开源大模型推理框架发布 v0.30.0 版本更新,包含来自 315 位贡献者的 762 次提交。新版本支持了多款前沿大模型及架构优化,包括支持 MXFP8 格式 KV 缓存与 FlashMLA 的 DeepSeek-V4.1-Flash、支持 ROCm 与 LoRA 的 DeepSeek-V4-Flash-Vision-Exp、支持 EPLB 的 GLM-5.3-Flash,以及 K2-Horizon、Cohere Compass、Bailing V3 VL 等,并引入了基于 AVX512/AMX 的 CPU 后端支持。

阅读原文 ↗推荐理由:包含 DeepSeek-V4.1、GLM-5.3 等最新模型的推理支持及 FlashMLA、MXFP8 等底层算力优化特性。# 大模型# 推理# 开源# 算力# 多模态
9月13日2026-09-13
vLLM 更新AI 评分 35/10002:42

开源项目发布 v0.29.1rc0 版本:引入面向投机解码的双密钥 Gumbel-Max 水印技术

该更新为开源项目的 v0.29.1rc0 预发布版本,主要增加了针对投机解码(Speculative Decoding)的双密钥 Gumbel-Max 水印(Dual-key Gumbel-Max Watermarking)技术。该功能旨在为大模型加速推理与投机采样流程提供文本水印嵌入与溯源能力,兼顾推理效率与生成内容的安全性。输入素材信息有限,主要展示了该特定算法的合并与版本发布。

阅读原文 ↗推荐理由:涉及大模型投机解码推理加速中的文本水印生成技术更新,但信息量较少。# 大模型# 推理# 安全# 开源