稠密模型与MoE架构对比：激活参数、吞吐量与选型策略解析
文章深入探讨了稠密（Dense）模型与混合专家（MoE）模型的核心差异，重点解析了激活参数量、推理吞吐量以及不同应用场景下的选型策略。文中以 Nemotron 3.5 Lightning 为例，剖析了总参数量达 30B 的模型如何通过每个 Token 仅激活 3B 参数，既保持了大模型的表征能力又大幅提升了计算效率，为开发者在算力受限下权衡推理成本与模型表现提供了系统指导。
DC AI 热点
全部 AI 动态
9月16日2026-09-16
英伟达探讨 Groq 3 LPX 确定性执行如何驱动 Vera Rubin 架构实现高效低延迟推理
功耗已成为 AI 数据中心的关键制约因素。随着 AI 工作负载对全栈计算平台提出更高要求，计算平台的各个组件都必须最大化能效。文章探讨了在英伟达下一代 Vera Rubin 平台上，如何通过 Groq 3 LPX 风格的确定性执行机制来优化高交互性推理任务，从而在严苛的功耗限制下实现极低延迟和高能效表现。
智能体完成了一次任务，它还能稳定复现吗？
文章探讨了 AI 智能体在任务执行中的可靠性与可复现性问题。尽管部分智能体能够在单次测试或特定场景下顺利完成复杂任务，但在多次运行或面对微小环境变动时，往往难以保证表现的一致性。由于提供的信息有限，文章主要聚焦于智能体在实际工程落地中鲁棒性不足的挑战，以及如何建立科学的评测体系以验证智能体的长期稳定性。
9月15日2026-09-15
Novita AI 开源 Chord：面向 Kimi K2.x 的高效 INT4 MoE 算子，推理提速最高达 2.15 倍
Novita AI 与 vLLM 社区合作开源了高性能 W4A16 MoE CUDA 算子 Chord。该算子专为 Kimi K2.x 等混合专家模型的推理服务架构优化，支持与 Humming 兼容的索引路径及 SM90 分组。基准测试显示，Chord 在英伟达 H200 芯片上可实现最高 1.3 倍的加速，在未调优的 B300 芯片上加速比达 2.15 倍，显著优化了 MoE 架构的推理性能。
9月14日2026-09-14
新算法HardFlow助推生成式AI应用于安全关键场景
研究人员提出了一种名为“HardFlow”的新算法，旨在使生成式AI模型在生成高质量内容的同时，严格遵循硬性约束与安全规范。传统生成式AI在处理高精度或安全关键型任务时，往往因“大致符合”而难以达到落地标准，HardFlow算法有望解决这一难题，确保模型输出满足严苛场景下的准确性与安全性要求。
9月13日2026-09-13
开源项目发布 v0.29.1rc0 版本：引入面向投机解码的双密钥 Gumbel-Max 水印技术
该更新为开源项目的 v0.29.1rc0 预发布版本，主要增加了针对投机解码（Speculative Decoding）的双密钥 Gumbel-Max 水印（Dual-key Gumbel-Max Watermarking）技术。该功能旨在为大模型加速推理与投机采样流程提供文本水印嵌入与溯源能力，兼顾推理效率与生成内容的安全性。输入素材信息有限，主要展示了该特定算法的合并与版本发布。
Kimi K3 在 vLLM 中的推理性能优化：实现 2.8 倍吞吐提升
文章介绍了针对 Kimi K3 模型在开源推理框架 vLLM 中的全栈服务优化方案，最终实现了 2.8 倍的吞吐量提升。优化措施覆盖调度机制、KDA 前缀缓存、ReplaySSM 状态恢复、预填充与解码（PD）分离及状态卸载，并对并行策略、混合专家（MoE）结构以及 GPU 底层算子进行了深度调优。
← 上一页4 / 4