智能体 AI 自动化中的有界自主与可验证安全

研究人员提出名为 BRaVeS 的有界推理与安全治理框架，通过在认知风险上升时动态降低自主性，保障智能体 AI 在高风险自动化场景中的安全性。该框架引入李雅普诺夫有界共识框架（LBCF）与 MoDA 风格注意力机制，将连续风险信号映射为有限状态并执行屏蔽转换或路由至人工接管。在 HAI 22.04 工控数据集的仿真测试中，LBCF 实现了有限步收敛且未发生安全违规。