黄仁勋现身Dreamforce大会:Salesforce发布首款CRM推理模型Koa
在Salesforce Dreamforce大会上,英伟达创始人兼CEO黄仁勋与Salesforce CEO马克·贝尼奥夫同台亮相。会上宣布推出Salesforce首款CRM推理模型“Koa”,该模型基于英伟达Nemotron 3 Super架构构建。黄仁勋在演讲中强调AI已具备全面赋能与认知能力,展现了两家公司在企业级推理模型与智能化应用落地方面的紧密合作。
在Salesforce Dreamforce大会上,英伟达创始人兼CEO黄仁勋与Salesforce CEO马克·贝尼奥夫同台亮相。会上宣布推出Salesforce首款CRM推理模型“Koa”,该模型基于英伟达Nemotron 3 Super架构构建。黄仁勋在演讲中强调AI已具备全面赋能与认知能力,展现了两家公司在企业级推理模型与智能化应用落地方面的紧密合作。
文章深入探讨了稠密(Dense)模型与混合专家(MoE)模型的核心差异,重点解析了激活参数量、推理吞吐量以及不同应用场景下的选型策略。文中以 Nemotron 3.5 Lightning 为例,剖析了总参数量达 30B 的模型如何通过每个 Token 仅激活 3B 参数,既保持了大模型的表征能力又大幅提升了计算效率,为开发者在算力受限下权衡推理成本与模型表现提供了系统指导。
文章探讨了英伟达AI工厂与电网协同运作的机制。在硅谷电网负荷高峰期间,供电机构向AI工厂发送调节功耗信号,Emerald AI团队与工程师实时监测负载响应。该模式旨在通过智能调度AI计算任务与电力负荷,在保障电网稳定性的同时最大化Token生成产出,展示了智算基础设施在电力需求响应与能效优化方面的最新落地实践。
在圣克拉拉举行的AI Infra Summit上,英伟达超大规模与高性能计算副总裁Ian Buck发表了关于AI工厂效率的演讲。英伟达展示了其下一代Vera Rubin架构和DSX平台的最新进展,重点阐述了如何通过提升“每瓦Token数”(Tokens Per Watt)来优化AI算力基础设施的能源效率,以应对AI数据中心不断增长的能耗挑战。
功耗已成为 AI 数据中心的关键制约因素。随着 AI 工作负载对全栈计算平台提出更高要求,计算平台的各个组件都必须最大化能效。文章探讨了在英伟达下一代 Vera Rubin 平台上,如何通过 Groq 3 LPX 风格的确定性执行机制来优化高交互性推理任务,从而在严苛的功耗限制下实现极低延迟和高能效表现。
英伟达阐述了下一代互联技术 NVLink 6 如何为超大规模“AI 工厂”提供多层弹性与高可用保障。对于大规模 AI 训练而言,保障集群持续稳定运行是提升算力生产力的关键。NVLink 6 通过针对性设计的多层韧性机制,在庞大 GPU 集群互联中降低软硬件故障引发的训练中断风险,确保超大规模并行计算的高吞吐与业务连续性。
联邦学习项目通常起步于单服务器、少数客户端及各站点单一数据集的基础架构。随着项目规模扩大,跨异构环境的部署与扩展成为关键挑战。文章介绍了如何借助 NVIDIA FLARE 框架,将联邦学习工作负载高效扩展至 Docker 容器、Kubernetes 集群以及超算常用的 Slurm 调度系统,帮助开发者统一跨平台编排并提升分布式隐私计算的扩展能力。
本文介绍了某大型儿童医院如何借助英伟达(NVIDIA)的开源人工智能技术改善心脏病诊疗与护理。由于原始输入仅包含标题且未提供详细正文,具体使用的模型架构、技术方案及临床应用成效等细节尚不明确。整体反映出开源AI工具在严肃医疗与儿科重症场景中的落地探索。
该资讯聚焦于慧与(HPE)与英伟达(Nvidia)的合作,探讨如何在大规模场景下实现人工智能技术的落地与运营化部署。由于原始输入仅提供标题且缺乏具体正文摘要,详细的合作方案、软硬件算力架构细节及具体应用成果尚不明确,主要反映了两大算力与企业IT巨头在AI基础设施规模化部署上的协同推进。
混合专家模型(MoE)已成为当前大模型训练的主流架构趋势,如 DeepSeek、Qwen 和 Mixtral 等模型均采用了该方案。针对 MoE 训练过程中的计算与通信开销,技术团队探讨了如何利用 NVIDIA Transformer Engine 在 JAX 深度学习框架下实现无丢弃(Dropless)MoE 模型的高效训练加速,进一步优化大语言模型的训练性能与资源利用率。
文章介绍了针对Kimi-K3模型构建高效DSpark训练系统的技术实践。通过结合投机采样技术(Speculators)与Mooncake分布式架构,团队在GB300 NVL72算力集群上成功实现了多节点DSpark的高效扩展与训练,大幅提升了大模型训练中的吞吐表现与集群算力利用效率。