英伟达推出新软件平台,旨在防止 AI 智能体出现违规失控行为
据外媒报道,英伟达(NVIDIA)正式发布了一款全新的软件平台,旨在监控并约束 AI 智能体(Agent)的行为,防止其在执行任务过程中出现违规、失控或偏离预期目标的情况。目前提供的资讯信息较为有限,尚未披露该平台的具体架构与详细功能特性。
原标题:Nvidia releases software platform to stop AI agents from misbehaving
阅读 Hacker News · AI 原文 ↗据外媒报道,英伟达(NVIDIA)正式发布了一款全新的软件平台,旨在监控并约束 AI 智能体(Agent)的行为,防止其在执行任务过程中出现违规、失控或偏离预期目标的情况。目前提供的资讯信息较为有限,尚未披露该平台的具体架构与详细功能特性。
原标题:Nvidia releases software platform to stop AI agents from misbehaving
阅读 Hacker News · AI 原文 ↗据外媒报道,英伟达(Nvidia)发布了一款全新的AI安全工具,旨在防止AI智能体(AI Agents)在执行任务时发生失控或异常行为(going rogue)。由于当前提供的资讯仅包含标题与链接,具体的技术架构、安全防护机制及应用场景等详细信息尚待官方进一步披露。
英伟达推出了一项旨在防止AI智能体失控的开源安全防护平台与工具。随着自主AI Agent在企业工作流与系统操作中获得更多权限,其潜在的越权操作、错误行为及安全漏洞成为关键痛点。该工具通过设立安全护栏与监控机制,帮助开发者与企业约束Agent的行为边界,确保其在安全可控的框架内执行复杂任务。
面对近期AI智能体行为失控引发的行业争议,英伟达CEO黄仁勋周一发布了一套软硬件结合的全新工具包平台。该产品旨在为AI智能体构建独立的安全防护层,从工程和系统架构层面防范智能体偏离预期或产生破坏性行为,为企业部署自主化智能体提供安全可控的防护方案。
英伟达(Nvidia)发布了一款专门针对AI智能体(AI Agents)的安全防护平台,旨在提供实时监控与干预能力。当系统检测到智能体出现偏离预设指令、越权或异常行为等失控迹象时,该平台能够在“毫秒级”的时间窗口内将其迅速隔离与限制,以防止潜在的业务风险与安全漏洞扩散。注:原文仅提供标题简讯,技术细节待进一步公布。
英伟达正将其 OpenShell 智能体软件与新型硬件看门狗 Sentry 相结合,构建开放智能体安全平台(Open Agent Safety Platform)。Sentry 旨在毫秒级别内迅速隔离失控或越界的 AI 智能体(此前 OpenAI 类似失控事件耗时近 3 小时才关停)。不过,该硬件看门狗目前仍无法独立可靠地拦截被诱导欺骗或主动隐瞒真实意图的复杂智能体行为。
英伟达正式发布全新AI安全平台“Open Agent Safety Platform”,旨在监控并遏制失控或遭恶意利用的AI智能体。该平台能够在数毫秒内隔离并阻断试图突破预设安全边界的智能体行为,直接回应了近期针对自主智能体系统的一系列安全攻击与滥用风险。
据彭博社报道,英伟达发布了一项旨在防止人工智能智能体(AI Agents)偏离预设轨道或出现失控行为的新系统。随着自主智能体在企业和各类业务流程中的加速落地,其行为不可预测性与安全性风险日益凸显。英伟达此举意在为智能体应用构建安全护栏与监控机制,确保其在既定规则和安全边界内运行。目前详细技术细节尚未完全披露。
英伟达推出开放式 AI 智能体安全平台(NVIDIA Open Agent Safety Platform),提供全栈式智能体治理与安全控制。该平台包含开源的 OpenShell 安全软件(支持跨平台设定安全边界)以及基于 BlueField-4 DPU 运行的硬件看门狗系统 NVIDIA Sentry。Sentry 通过带外信任域在芯片层独立执行安全策略,可毫秒级实时隔离并停止试图越界的异常智能体。Anthropic、SpaceX 和 Scale AI 等已展开合作。
英伟达发布开源智能体安全平台(Open Agent Safety Platform),为 AI 智能体的持续监控与防护提供参考架构。该方案聚焦于底层与芯片级的安全监测能力,旨在应对智能体在自主执行复杂任务时可能出现的越狱、失控及安全合规风险,为构建可信赖的企业级 Agentic AI 基础设施提供软硬件协同的安全防护基准。