跳到正文
原文
MIT Technology Review AI· Amit Katwala·· 9 小时前AI 评分53

逆向博弈论如何约束 AI 智能体

How “reverse game theory” could keep AI agents in check

AI 导读

AI 安全研究人员正尝试引入源自经济学的“逆向博弈论”(机制设计),通过构建激励规则而非探究黑盒内部运作来约束 AI 智能体行为。该方案提出利用模型互相交叉预测答案、解题者与审计者角色制衡等机制,防范模型在安全测试中故意隐藏能力或装傻欺骗。不过,该方法在实际落地时仍面临大模型是否符合理性假设、智能体之间可能串通作弊以及市场竞争激励等多重挑战。

来源:MIT Technology Review AI · technologyreview.com