AIDC
← 返回全部动态
arXiv 人工智能AI 评分 65/10009月29日 12:00

合同监控机制:借鉴三权分立治理 AI 智能体安全

该研究提出了一种名为“合同监控”(Contract Monitoring)的 AI 安全框架。该框架通过明确规定工作智能体(Worker Agent)允许执行行为的“合同”来进行约束,并借鉴三权分立思想,将监控智能体与裁判分配不同职责,同时为监控方与执行方配置非对称的算力资源以确保合同执行。该框架支持对统计安全保证进行经验性度量,可广泛应用于代码安全审计和沙箱逃逸防范等场景。

推荐理由提出了一种基于权力制衡与资源非对称的多智能体安全监控机制,对 Agent 运行期安全治理有参考价值。

原标题:Contract monitoring: governing AI via separation of powers

阅读 arXiv 人工智能 原文 ↗